うちもRAGをやりたい！　どうやって進めればいいか詳しく教えて：生成AIお悩み相談室（1）（1/2 ページ）

　進め方としては、各フェーズを1回しか実施しない代わりに丁寧に進める「ウオーターフォール」よりも、1回にかける時間は少なくなる代わりに4つのフェーズを複数回繰り返す「アジャイル」な進め方がお勧めです。

　これは、1回のサイクルで求める水準の精度に達するのは稀（まれ）で、進めながら方向性を変更するといった軌道修正が生じるためです。

　開発担当チームで成果物ができたら、「ユーザー評価」で実際の利用者、あるいは利用部門（以下、ユーザーと表記）に試用と評価をしてもらいましょう。

　例えば、情報システム部門が検討し、事業部門が利用する場合のように、導入に向けて検討するチームとユーザーが異なると、想定した利用方法やユーザーの期待値と実際の結果にズレが生じることがあります。

　ユーザー評価の結果に基づき、「現場での利用決定」「改善（継続検討）」「導入断念（中止）」の判断を行います。

　以下では、各フェーズとそのポイントについて説明します。

1.仕様の検討

　仕様検討フェーズでは、LLMとRAGを利用してどんな課題を解消したいのかを考えます。まずは大ざっぱで構いません。ユースケースが決まったら、徐々に詳細化を行い、実現方法まで詰めていきます。

　このフェーズにおけるポイントは3つあります。

1.ユースケースや実現方法はなるべく絞り込む

　LLMは多様なタスクに適用できるため、解消したい課題を多く詰め込んだ手広いユースケース（用途）を考えたくなりますが、初めのうちはピンポイントに絞り込むことをお勧めします。

　また、RAGを使用しても精度100%を保証するのは難しいため、タスクの完全自動化を目指すのではなく、人のチェックを入れられる用途を検討するとよいかと思います。

　ユースケースと併せて、使い方の絞り込みもしましょう。下に絞り込みの例を示します。

　絞り込みを行うことで、本当に必要な機能や、運用を見越した上での精度向上に注力できます。

　うまくいきづらい例の一つとして、ベクトルデータベースに登録するドキュメントのフォーマットを絞り込まなかった場合を考えてみます。

　ドキュメントのフォーマットはPDF、Word、Excelなどさまざまですが、情報の抽出における独特の癖により 、精度向上を目指す上で対策が必要となることがあります。対策が中途半端だと、思うようなユーザー評価が得られない可能性が出てきます。

　このような事態を防ぐためにも、まずはフォーマットを絞り込むとよいでしょう。一定の精度が出るようになったら絞り込みを少しずつ緩和し、実績を積み上げていくようにすると、手戻りが発生しづらくなります。

　ただし、絞り込み過ぎにより、課題が解決できなくなるのでは本末転倒です。用途に応じて、どこまで許容できるかバランスをとることも重要です。

2.精度目標と効果を定量化する

　精度については、目標を整理しておくことも重要です。

　精度目標はユースケースの特性によって変化します。例えば適用する業務に求められる正確性や、ユーザーのリテラシー／業務熟練度などを考慮する必要があります。

　精度目標値はユーザーの期待値のコントロールにも有用です。

　LLMやRAGは社会的に大きな注目を集めており、暗黙的に高すぎる期待値を持っているユーザーは多いかと思います。 一方で、低すぎる値にすると有効性が判断しづらくなります。目標値は高すぎても低すぎても適切とは言えません。

　ユースケースの特性の他、費用対効果を考慮すると妥当性のある目標値が見えてくるかと思います。なお、費用については、LLMやRAGの利用にかかるコストの考慮を忘れないよう注意しましょう。

　LLMは、OpenAIのモデルのようにクラウド上にあるモデルを利用する場合と、自社の持つマシンの上で動作させるローカルモデルを利用する場合があります。