生成AIに根拠の引用を必須にして精度を上げる方法

生成AIに「問題点を挙げて」と頼むと、たいてい当たり障りのない話が並びます。エラー処理を検討しましょう、セキュリティに配慮しましょう。間違ってはいないけれど、どこを直せばいいのか分かりません。これは条件の書き方で変わります。件数の上限を切り、該当箇所の引用を必須にし、一般論を禁じる。この3つを足しただけで、指摘が実際に直せる粒度まで落ちました。自社の業務システムを内製する中で使っている条件を、そのまま公開します。

生成AIの精度を上げる指示方法とは、件数の上限設定、該当箇所の引用必須化、一般論の禁止を組み合わせたプロンプトの書き方です。AIに問題点を挙げさせると当たり障りのない回答になりがちですが、最大15件までなどと上限を切り、原文の引用を必須にすることで、実際に直せる粒度の指摘を引き出せます。引用が空であれば誤りと判断しやすくなり、実務で使える回答を得られます。

なぜ一般論だらけになるのか

理由は単純で、件数を求められると、外れにくい指摘で数を満たそうとするからです。どの相手にも当てはまる指摘は、間違いになりません。安全なので出やすい。

• 間違いにならない：「〜を検討しましょう」は否定されにくい
• 数を稼げる：対象を読み込まなくても書ける
• 結果、使えない：どこを直せばよいかが分からない

つまり、悪いのはAIではなく「数を出させる指示」のほうです。ここを変えます。

私たちが足している3つの条件

特に効くのが引用の必須化です。引用を求められると、その文字列が本当にあるかを確かめる必要が生まれます。引用が空だったり、原文と一致しない指摘は、その時点で疑ってかかれる。これは受け取る側にとって大きな違いです。プロンプトの基本的な組み立てはプロンプトの書き方にまとめています。

指示文の型

難しい書き方は要りません。次の要素を並べるだけです。

• 役割：何の立場で見るのか（点検する側であって、擁護する側ではない）
• 対象：どこを見るのか
• 上限：最大何件までか
• 形式：1件ごとに「対象・根拠の引用・何が起きるか・確かめ方」を書かせる
• 禁止：一般論、良い点の列挙、推測での断定

「何が起きるか」と「確かめ方」を書かせるのも効きます。実害を説明できない指摘、確認手段を示せない指摘は、たいてい思いつきだからです。

それでも誤りは残る

条件を厳しくしても、引用は正しいのに解釈だけが誤っていることがあります。実際、断定的な口調で誤った指摘が返ってきたことがありました。だから条件を整えるだけで終わりにしません。

• 別のAIに確かめさせる：その指摘が事実かどうかだけを判定させる
• 新しい指摘を足させない：確認役に発見までさせると、量が増えて精度が落ちる
• 最後は人が決める：現場の事実に照らして、採用しない判断を人が持つ

この役割分担そのものは複数のAIを発見役と裏取り役に分ける使い方で書いています。条件を整える話と、分担する話は、セットで効きます。

よくある質問

AIに点検を頼むと、なぜ一般論ばかり出てくるのですか？

件数を求められると、外れにくい指摘で数を満たそうとするためです。「エラー処理を検討しましょう」「セキュリティに配慮しましょう」のような、どの相手にも当てはまる内容は間違いにならないため出やすくなります。

具体的に何を指示すればよいですか？

3つです。件数の上限を切る、該当箇所の引用を必須にする、一般論を禁じる。これに「良い点の列挙は不要」を足すと、褒め言葉で埋まるのを防げます。上限は多すぎない数にしておくと、優先度の高いものから出てきます。

引用を必須にすると何が変わるのですか？

存在しない箇所を指摘しにくくなります。引用が求められると、その文字列が本当にあるかを確かめる必要が生じるためです。引用が空だったり、原文と一致しない指摘は、その時点で疑ってかかれます。

それでも誤った指摘は出ますか？

出ます。引用を付けたうえで、解釈だけが誤っていることがあります。だから条件を厳しくするだけで終わらせず、別のAIに事実確認をさせ、最後は人が現場の事実に照らして採否を決めます。

文章のチェックにも使えますか？

使えます。考え方は同じで、指摘の件数を絞り、どの一文についての指摘かを引用させ、一般的な文章論を禁じます。対象が文章でもコードでも、曖昧な指摘を許さない形にするという点は変わりません。