LLMの限界を超える：RAGとNotebookLMを活用した高精度AIの実現（法務分野での応用事例）

近年、大規模言語モデル（LLM）は私たちの働き方に変革をもたらしつつありますが、その一方で「ハルシネーション（もっともらしいが誤った情報生成）」や、学習データに基づく「知識の打ち切り（ナレッジカットオフ）」による情報鮮度の問題といった課題も指摘されています。本記事では、これらのLLMの限界を克服し、より信頼性の高いAI運用を実現するための「RAG（検索拡張生成）」の活用事例と、Googleが提供するAIアシスタント「NotebookLM」の具体的な運用ポイントについて解説します。

LLMの弱点とRAG（検索拡張生成）の重要性

LLMは膨大なデータを学習し、人間のような自然な文章を生成する能力に優れています。しかし、その生成の過程で、学習データに含まれない情報を補ったり、最新の情報を参照できなかったりすることで、誤った回答や不明瞭な回答を生成する「ハルシネーション」が発生することがあります。

また、LLMの学習データは特定の時点までの情報で構成されているため、それ以降に発生した新しい出来事、情報、法改正などについては「ナレッジカットオフ（知識の打ち切り）」により対応できないという本質的な課題を抱えています。この情報鮮度の問題は、特にリアルタイム性が求められる情報や、頻繁に更新される専門分野において、LLMの回答の信頼性を大きく損なう要因となります。

ここで重要となるのが「RAG（Retrieval-Augmented Generation：検索拡張生成）」です。RAGは、LLMが回答を生成する際に、外部の信頼できる情報源（ドキュメント、データベースなど）から関連情報をリアルタイムで検索し、それを参照しながら回答を生成する技術です。これにより、LLMは自身の学習データに加えて、ナレッジカットオフ以降に発生した最新かつ正確な情報を根拠として利用できるようになり、ハルシネーションの抑制と回答の精度向上に大きく貢献します。

しかし、ここで示す例として、大谷選手がメジャーリーグで優勝したかどうかについて質問すると、正確な回答が得られるというケースがありました。回答の「情報源」を確認すると、2024年11月1日時点のロイター通信のニュースが参照されていることがわかります。これは、LLMの事前学習データにない新しい情報を外部データベースから取得し、最新情報を付加して回答する仕組みが使われているためです。いわゆる「RAG（Retrieval-Augmented Generation）」という技術で、ウェブ検索などの外部ソースとLLMを組み合わせることで、学習時点を超えた情報を回答に取り込むことができます。

事前学習データ外の情報を活用する仕組み

RAGは、うまく実装すればLLMが「自分の学習データのみでは十分に回答できない」と判断した際に、外部の検索エンジンやデータベースにアクセスして情報を取得し、回答を補強することができます。先ほどの大谷選手の例では、事前学習されたデータだけでは優勝の有無を正確に回答できず、ウェブ検索を自発的に行った上でロイター通信の記事を参考にしました。こうした仕組みにより、従来のLLMの弱点である「学習時点以降の新しいトピックに対応できない」という問題をある程度克服できます。

簡単な実装例として、ChatGPTユーザーであれば「GPTs」という機能を利用し、自分が用意したファイルやデータをLLMに参照させることが可能です。今回のニュース記事を「知識」として事前にアップロードし、大谷選手に関する質問があった場合、それを元に回答させる仕組みを構築できます。これは外部ウェブ検索とは違い、手元で準備した資料を直接参照させる方法であり、オンライン検索の制約やリスクを回避したい場合にも有用です。

ユーザーとしては、回答の正確性さえ担保されていれば、ウェブ検索かアップロードデータかはあまり気にならないかもしれません。しかし、弁護士の業務で生成AIを使う場合、「どのように情報が収集され、どんなプロセスで回答が生成されているのか」という点を理解しておくことが重要です。特に、外部から取得する情報源の信頼性や、社外秘のファイルをアップロードする場合のデータ取り扱いなど、留意すべき法的・倫理的観点があるためです。

GPTsによる情報参照とハルシネーション防止

こうして回答の根拠をGPTsのようにあらかじめ設定することで、専門領域に関する回答精度を高められます。さらに、異なる情報を混在させてしまうハルシネーション（実際には存在しない情報をあたかも事実のように回答する現象）を軽減することも期待できます。ただし、現在のところGPTsのUIは必ずしも直感的ではなく、日常業務で繰り返し使いたいと思うほどの使い勝手ではないという声もあります。また、私個人の意見としては、ChatGPTの「壁打ち的な雑談や要点整理」という使い方の方が合っているため、GPTsを頻繁に作成することはないというのが率直な感想です。

ChatGPTがOpenAIが開発したGPTをベースとしたチャットボットサービスであるのに対し、NotebookLMはGoogleが開発したGeminiをベースとしたサービスです。NotebookLMのUIは「ユーザーが情報源を指定する」ことを前提に設計されているため、「特定の情報から答えを得る」という用途では使いやすくなっています。それでは、実際に業務での活用可能性を見ていきましょう。

GPTsで行った大谷選手のニュース記事のアップロード実験と同様の操作をNotebookLMで試してみました。NotebookLMでもニュース記事を正確に参照して回答することができています。「特定の情報から答えを得る」ことを前提としているため、情報の引用方法にも工夫が見られます。画面左側に表示される参照元のニュース記事では、具体的な引用箇所が一目で分かるようになっています。今回は短いニュース記事1つだけが対象なので大きな違いは感じませんが、長文をアップロードする場合には非常に便利な機能だと言えます。

NotebookLMの対応ファイル

アップロードできる資料の種類と制限事項の詳細はこちらですが、重要なポイントをいくつかピックアップしてご紹介します。

• Google ドキュメント、Google スライド、PDF、テキストファイルなど、一般的な資料形式に幅広く対応しています。スキャンしたPDFも問題なく読み込めます。
• Google スプレッドシートとエクセルファイルには非対応です。
• ウェブサイトのURLやYouTube動画のURLにも対応していますが、動画の場合は文字起こしされたテキスト部分のみが対象となります。
• 1つのソースにつき、単語数は500,000語まで、ファイルサイズは200MBまでと十分な上限が設定されています。
• 一度アップロードしたファイルの削除や編集はできません。Google ドキュメントやGoogle スライドをインポートすると、元ファイルのコピーが作成されます。NotebookLMは元ファイルの変更を自動追跡しないため、最新情報を反映するには資料を再度アップロードする必要があります。

試験的に、準備書面のサンプルをスキャンしたPDF形式でアップロードしてみました。参照箇所のハイライト表示は表示されませんでしたが、内容は正確に認識され、適切な回答が得られました。

NotebookLMが「特定の情報から答えさせる」前提で設計されていることを示す実験結果が以下の2つです。試しにNotebookLMに明日の天気について質問したところ、資料に記載がないという回答が返ってきました。

1. NotebookLMでの試行

同様の質問を本記事の前半に作成した大谷翔平さんボットで試したところ、ウェブ検索を行って正しい情報を回答する動きとなりました。NotebookLMが使いやすいと言われている理由の一つは、この「わからないものは答えない」という一貫した姿勢にあるのではないでしょうか。弁護士が取り扱うような正確性重視の分野ではこの動作が適しているケースが多いかもしれません。

1. GPTs（大谷翔平さんボット）での試行

NotebookLMのデータの取り扱い

また、ユーザーがアップロードしたデータの取り扱いは、無料プランか有料プランかによって多少異なりますが、いずれの場合も「学習には使用しない」という方針が明言されています。個人用アカウントでフィードバックを送信するときには人間のレビュアーが問題解決のために閲覧する可能性がありますが、業務用途での機密データを扱う場合は、Google Workspace アカウントでの利用や有料プランへの切り替えなど、より厳格な運用を検討してみるのもよいでしょう。

• 無料プラン
  • NotebookLM
    • Google はユーザーのプライバシーを重視しており、NotebookLM のトレーニングに個人データが使用されることは一切ありません。
    • 個人の Google アカウントでログインしている状態でフィードバックを送信すると、人間のレビュアーが、問い合わせやアップロード、モデルの回答をレビューし、トラブルシューティング、不正行為への対処、モデルの改良を行う場合があります。共有したくない情報は送信されないことをおすすめします。
    • Google Workspace または Google Workspace for Education のアカウントでは、NotebookLM にアップロードしたデータ、クエリ、モデルの応答は、人間のレビュアーの対象にはならず、AI モデルのトレーニングにも使用されません。（参照：NotebookLM によるデータ保護）
• 有料プラン
  • NotebookLM Plus
    • アップロードされたファイル、チャット、およびモデルの出力は、人間によるレビューの対象にはならず、生成 AI モデルの改良に使用されることもありません。（参照：NotebookLM と NotebookLM Plus の相違点）

具体的な弁護士業務での活用事例

弁護士業務は多岐にわたり、大量の文書処理と正確な情報提供が求められます。ここでは、NotebookLMを活用してLLMの弱点を克服する具体的なユースケースを紹介します。

1. 法律リサーチの効率化

判例データベース、関連法令、学術論文などをNotebookLMにアップロードすることで、法的な質問に対して正確な情報を即座に取得できます。例えば、「契約不履行に関する最新の判例は？」といった質問に対し、NotebookLMはアップロードされた資料から関連性の高い判例を抽出し、提示することが可能です。これにより、従来時間を要していた情報収集のプロセスを大幅に短縮できます。特に、日々更新される法令や新しい判例の動向にも、RAGによって対応できるようになります。また、MINTSによる電子提出システムで提出された書類の整理・分析においても、NotebookLMとの組み合わせが効果的です。

2. 契約書のレビューとドラフト作成

過去に作成・修正した契約書テンプレート、関連法令、業界標準の契約書などをNotebookLMにアップロードし、カスタマイズされたレビューツールとして活用できます。既存のAI契約書レビューツールでは判断基準がブラックボックス化され、不要な修正提案を受けることがありましたが、NotebookLMでは参照情報を自らコントロールでき、より効率的なレビューが可能です。新規の契約書作成時も、過去の契約書を参考にしながら、条項の追加や修正を効率的に行うことができます。最新の法改正情報をソースとして取り込むことで、常に準拠した契約書作成を支援します。

3. クライアントへの説明資料作成

複雑な法的問題や訴訟の進捗状況をクライアントに説明する際は、案件関連資料や過去の説明資料をNotebookLMにアップロードします。「依頼者にもわかりやすい言葉で状況を説明してください」といった指示で、平易な説明文を作成できる可能性があります。

まとめ

LLMの弱点を克服し、その潜在能力を最大限に引き出すためには、RAG（検索拡張生成）の活用が不可欠です。GoogleのNotebookLMのようなツールは、このRAGの概念を個人や組織が実践的に利用するための強力な手段を提供します。特に、LLMのハルシネーションやナレッジカットオフといった課題に対し、RAGは外部の信頼できる最新情報を参照することで、その精度と信頼性を飛躍的に向上させます。

特に法務分野においては、NotebookLMを活用することで、法律リサーチの効率化、契約書レビュー・ドラフト作成の精度向上、そして法務相談対応の迅速化といった具体的なメリットが期待できます。高品質なソースの選定と適切な運用により、LLMは単なる情報生成ツールから、信頼できる「第二の脳」へと進化し、私たちの業務をより効率的で確実なものに変えていくでしょう。

さらなる業務効率化をお考えの方へ 

個別ツールの活用に加えて、法律事務所全体の案件管理システムの導入も検討されることをお勧めします。HubSpotを活用したAI案件管理システムについて、詳しくは「法律事務所におけるHubSpotの活用とAIチャットがもたらす次世代の案件管理について」をご覧ください。クライアント情報、進行中の案件、期日管理を一元化し、チャットAIで効率的な情報検索が可能になります。 これらのツールを効果的に取り入れ、今後ますます多様化する弁護士業務に対応していきましょう。