こんにちは。前回の記事では、AIが法令を正確に読めないという壁にぶつかったお話をしました。その最大の原因は、資料のPDFをテキスト化する際に、レイアウトが崩壊してしまい、文章が読めないことでした。とくに「表」の記載内容がAIに認識できない事が顕著でした。今回は、この壁を乗り越えるために試行錯誤した過程と、意外な解決策を見つけたお話です。

諦めかけた「表」の壁

前回の記事でお話ししたように、わたしはAIを特定の用途に特化したツールに仕立てようとしていました。無料版でもカスタムGeminiなら可能だと思っていたのです。しかし、AIが「表」を読めないという根本的な問題に直面し、WordやExcelファイルを使って手直しするしかないかと考えていました。AIは「コマンドラインで動くテキスト化ツールを使って、コマンドプロンプトで特別指示を出して…自動化するためにPythonを組んで…」という、わたしの能力を超えるアドバイスをしてくれました。しかし、それらを学んでその作業をして…と工数の多さを考えると、とても現実的な解決策とは言えず、「AIのアップデートを待つしかないか…」と諦めかけていました。

そんな時、知り合いから「Notebook LMは便利だけど試してみた？」という助言が舞い降りました。

同じGoogleサービスなのに、なぜ？ Notebook LMとGeminiの能力の違い

「Notebook LM」という名前は、実務六法にとても便利だという噂を聞き、今のプロジェクトに目処がついたら取り組もうと予定していました。しかし、もしかしたらやろうとしていることは同じかもしれない…？そう考え、早速試してみることにしました。

まずは、工数が少なく検証しやすいテーマとして「不利益処分」に関する能力を試すことに。前回もやってみたことの一つで、読み込ませる資料は、たったの4つです。

同じ事例を使って、GeminiとNotebook LMを比較してみました。すると、Notebook LMは資料内の「表」をしっかりと読み込むことができる一方、Geminiはやはり読むことができません。 同じGoogleサービスなのに、この出来の違いには圧倒的な差がありました。肝は、やはり資料内の「表が読める」こと。 この時点で、Notebook LMに軍配が上がったのです。もちろん、読み込ませる参照資料数も圧倒的に違います。

Notebook LMの能力はいかほど？

「表が読める」ということが分かったので、「その読解能力なら、法令も読めるのでは？」と前回挫折した別のプロジェクトのための具体的な能力を試してみました。

試行その1：法令検索

まず法令検索を試してみたところ、単一の候補を完璧に特定することは難しいものの、複数の候補をピックアップすることであれば、ほぼ正答を出すことができました。 これだけで相当な時間短縮が確定するので、合格点です。

ただ一つだけダメだったのは、「悪魔の証明」に当たったときです。存在しない条文を「回答なし」とは答えられず、関連する制度解説を始めてしまうハルシネーションを起こしました。これは、キーワードを本来の単語に置き換えることで正答までたどり着けないまでも、解説文の中に求める条文はありました。それでも、必要十分能力を満たしていると感じました。

あとは、やはり作業負荷が大きいため、少しづつやらせないと挙動がおかしく？なってる気もしました。

試行その2：法令試験の解説

次に、本命の法令試験の解説を試してみました。全国屈指の難易度を誇る、九州の試験問題を解説させました。そして、これを難なくできてしまえることが判明したのです。これは、わたしのAI活用に大きなブレイクスルーをもたらす大変有意義な結果でした。これでプロジェクトを進展させることができます。

これらの試行を繰り返すうちに、チャットの回数が全体で40回に達し、「今日のチャット数が限度に達しました」という通知を受け取りましたが、非常に良いデータと結果を得ることができました。

結論：AIは適材適所に使おう

今回の経験から、わたしは一つの結論にたどり着きました。AIは万能ではないからこそ、適材適所で使い分けるべきだということです。

一つのツールにこだわりすぎると、今回の「表」のように、できないことを積み残してしまうリスクがあります。それを避けるためには避難的に使えるAIサービスをいくつか把握しておく必要があるでしょう。無理のない範囲で複数のAIツールを試用し、それぞれの得意不得意を把握すること。これが、アナログなわたしが生成AIを使いこなすための、次なる一歩だと感じています。

最後に、「やっぱり人間は必要」とも感じました。試行その２の解説は、法学初心者には重量すぎてそのままでは使えないだろうと思いました。あくまで試験対策用なので、文量を減らす必要があります。こういう判断や匙加減は、やはり人間が担うべきところです。