こんにちは。生成AIとの協業に希望を抱いてきたわたしですが、今回は初めての大きな壁にぶつかったお話をしたいと思います。先日、商工会議所が主催するChatGPTのセミナーに参加したことが、そのきっかけでした。
セミナーで知った「カスタムChatGPT」とAIの意外な弱点
セミナーのテーマはChatGPTのGPTs機能、いわゆる「カスタムChatGPT」の活用方法。
有料版のChatGPTでないとできない仕様でしたが、特定の資料を読み込ませて、特定の目的に特化したAIを作成できると学びました。残念ながらわたしは無料版を使用しているため、この機能は使えません。
しかし、無料版のGeminiにも、同様に特定の資料を読み込ませてカスタマイズする機能「カスタムGem」があることを知り、早速試してみることにしました。
今回の目的は、特定の資料（法令集）をGeminiに読み込ませ、法令試験問題の解説をパパっと作るため、「法令の特定」と「問題文への回答・解説」をさせることです。
しかし、ここで最初の大きな壁にぶつかりました。
AIは六法を読めないのか、法令試験の正答率が極めて低いという事実です。肌感覚で３割ほど。これはわたしにとって、非常に意外なことでした。これまでこんな見当違いなことは無かったからです。
難航する効率化：崩壊するPDFの壁
なぜAIは法令を正確に扱えないのか？この正答率の低さの原因を探るため、まずはGemini自身に聞いてみました。すると、AIはPDFファイルよりテキストファイルの方が好みだということが分かりました。
というのも、PDFファイルはそのまま読み込んでいるのではなく、OCR機能を展開しながらテキストを読み込んでいるそうです。その結果、レイアウト等が崩れて「条・項・号の構成が分かりにくい」とのこと。正確には、文字列も改行の度に文章が切断されていて、それらをつなぎ合わせて文章として処理する事自体に相当の負荷がかかっていること。それに加えて複雑な段落構成が、六法の読み込みに苦労しているとのこと。
それを自分で確認するためPDFファイルをテキストファイルに変換してみたところ、その原因は一目瞭然でした。
変換後のファイルは、レイアウトはもちろんのこと、文章そのものがぐちゃぐちゃに崩壊していました。特に、法令で多用される「表」のデータは完全に読み取れない状態です。
この他にも、①参照法令の量が多すぎる。②回答すべき問題数も多すぎる。との要望もあり、相当な作業量を覚悟しました。
効率化のためにAIを使おうとしたのに、正確な情報をAIに読み込ませるためには、この崩壊したテキストをわたし自身の力で修正することを意味していました。しかも関係法令は１３＋１６あります。
この瞬間、わたしはYouTube動画で聞いた「AIの利用は期待したほど効率化に結びつかない」という意味を、身をもって理解しました。
プロンプトエンジニアという新たな課題
当初の予定では、問題文に該当する法令をGeminiに特定してもらい、その過程を単純化するはずでした。しかし、期待した結果を得るためには、まず情報そのものをAIが正確に理解できる状態に整えるという、想定外のステップが必要だったのです。
この体験から、わたしは一つの結論にたどり着きました。
AIを単に使うだけでなく、最適な指示を出すためにAI自身に「最適なプロンプトは何ですか？ どのように実行すればあなたは理解しやすいですか？」という質問をし、コチラが見落としている要素を回答から引き出し、前提条件を調える「プロンプトエンジニア」になる必要があるということです。
生成AIは強力なツールですが、その真価を発揮させるためには、使う側の知識と労力が不可欠なのだと痛感しています。これは、楽して効率化しようと考えていたわたしにとって、大きな気づきとなりました。
しかし、この新たな課題をクリアすることで、さらにAI活用の道が拓けると信じ、これからも探求を続けていきたいと思います。
