検索式ツール出力読み取りがLLMエージェント精度を下げる

背景と概要

LLM エージェントが正しい数値を計算していても、最終回答が誤ることがあります。arXiv に公開された研究は、その背景にある設計上の選択に注目しました。多くの agent harness は文脈ウィンドウを節約するため、長いツール出力を会話に載せず、ファイルとして保存します。エージェントは必要なときに、その内容を検索したり読み取ったりします。

研究チームは、米国地質調査所（USGS）の地球化学シミュレータ PHREEQC を実際のツールとして採用しました。報告書は最大 846.8k 文字に達します。シミュレーションは決定論的で、同じ入力から常に同じ出力が得られるため、報告書に印字された数値はすべて追跡できます。エージェントはこのツールを使い、実行検証済みの選択式問題 158 問に答えました。

論文の貢献は三つあります。第一に、報告書を文脈内で見る場合と、検索で読む場合の精度差を測定しました。第二に、その損失を「目標値を算出する頻度」と「回答の根拠となった証拠」に分解しました。第三に、evidence substitution と名付けた失敗パターンを示し、複数の緩和策を比較しました。

深掘り分析

比較したのは二つの条件です。一方はシミュレータの報告書を文脈内で直接読む条件、もう一方は章インデックスを通じてのみ報告書ファイルを検索・読み取る条件です。PHREEQC は決定論的なので、著者らはエージェントのログに残る全 11,007 回のシミュレーション呼び出しを再実行できました。各呼び出しについて、シミュレーション自体が問題の求める値を出していたかを確認しています。 この確認で、二種類の誤りを切り分けられます。シミュレーションが誤っていた場合と、シミュレーションは正しいのに回答が正しい証拠から取られていなかった場合です。さらにシミュレーション結果を固定し、証拠の使い方だけを比べる分析も行いました。 検索式のツール出力読み取りは、なぜ LLM エージェントの精度を下げるのでしょうか。この研究では、原因は計算の失敗ではありませんでした。章インデックスで報告書を検索させると、GPT-5.1 と GPT-5.2 の精度はそれぞれ 11.3 ポイントと 7.9 ポイント低下しました。Claude Opus 4.6 と Sonnet 4.6 には検出可能な低下がありませんでした。再実行の結果、GPT 系モデルが目標値を算出する頻度はほぼ変わらず、変わったのは回答の根拠でした。

検索条件の GPT 系モデルは、しばしば報告書を飛ばしました。代わりに、自ら出力したより高精度のファイルを引用し、隣の選択肢に丸めて答えています。これが evidence substitution です。シミュレーションを固定しても、検索により GPT-5.2 は 9.4 ポイント低下しました。損失の源はシミュレーションの質ではなく、証拠の使い方にあると言えます。 GPT-5.4 はやや複雑な例です。正しいシミュレーションを行う頻度が高く、それが約 10 ポイントの証拠使用の損失を覆い隠しました。その結果、純粋な変化はゼロと区別できませんでした。

業界への影響

第一の示唆は評価方法です。総合精度だけを見れば、GPT-5.4 は検索の影響を受けていないように見えます。しかし分解すると、より良いシミュレーションの陰に、実在する証拠使用の損失が隠れていました。agent harness の文脈管理を評価するチームは、合計点だけでなく、精度がどこで失われたかを確認すべきです。 第二の示唆は導入面です。大きなツール出力をディスクに保存して検索させる方式は、トークン節約の定番です。この論文は、それがモデルによっては無料でないことを示しました。今回の設定では GPT 系の二モデルが明確な代償を払い、Claude の二モデルは払いませんでした。モデル選定と文脈戦略は、あわせて決める必要があります。

第三に、対策は低コストです。権威ある出力を明示すると、GPT 3 モデルは検索のみの場合より 6.3〜7.9 ポイント改善しました。GPT-5.1 と GPT-5.2 では、文脈に収まる出力をインライン化しても、明示と同程度の効果でした。一方、正しく丸めるよう求めても効果はありませんでした。問題は丸め方ではなく、どの証拠を選ぶかにあるためです。 科学計算では、隣り合う選択肢の差が丸めだけということがあります。元の計算が正しくても、参照するファイルを誤るだけで不正解になりえます。

今後の展望

この手法は再利用できます。決定論的シミュレータと、ログに残る呼び出しの再実行を組み合わせれば、失敗を「計算」と「証拠使用」に分解できます。本論文の対象は PHREEQC ですが、データベース照会やコード実行環境など、長い出力を返す他のツールにも応用できる可能性があります。ただし、元の情報にそうした検証の報告はなく、これは提案にとどまります。

ツール設計者にとっての実践的な一歩は、権威ある出力を明確に示すことです。精度の異なる複数のファイルを書き出すツールは、エージェントに誤った選択の余地を与えます。一つのファイルを正本として示すか、短い結果をインラインで返せば、その余地を低コストで消せます。

課題も残ります。研究は一種類のツールと 158 問が対象で、効果はモデルごとに異なると報告されています。GPT-5.4 の例は、ある能力の向上が別の損失を隠しうることを示します。今後の harness 評価では、両方の要素の報告が必要になります。それが定着するまでは、検索式のツール出力読み取りは、全エージェントに安全な既定値ではなく、モデルごとに検証すべき設定として扱うべきです。