檢索式讀取工具輸出如何拖累LLM智能體準確率

大语言模型智能体有时明明已经算出了正确答案，最后交出的结论却是错的。这篇论文盯住的，是这种现象背后的一个工程选择。越来越多的 agent harness 为了节省上下文窗口，不再把冗长的工具输出直接放进对话，而是把它们保存成文件，让智能体需要时再去搜索或读取。作者想弄清楚，这种做法到底在哪个环节损失了准确率。为此他们选了一个真实的科学工具 PHREEQC，这是美国地质调查局（USGS）广泛使用的地球化学模拟器。它的报告最长可达 846.8k 个字符，而且模拟是确定性的，所以报告里每一个打印出来的数值都能被追溯。智能体借助它回答 158 道经过执行验证的选择题。

论文的贡献有三层：第一，测量了"通过检索读报告"相对于"报告放在上下文里"的准确率代价，并发现代价随模型差异很大；第二，通过重新运行日志里的全部模拟调用，把损失拆成"算对的频率"和"答题所依据的证据"两部分；第三，命名并刻画了一种失败模式，称为 evidence substitution，即证据替代，同时比较了几种缓解办法。在方法上，作者的设计围绕"把原因分开"展开。比较的两种条件是：智能体直接在上下文中看到模拟器报告，或者只能通过章节索引去检索、读取报告文件。由于 PHREEQC 是确定性的，同样的输入永远得到同样的输出，作者可以把智能体日志中记录的 11,007 次模拟器调用全部重新运行一遍，逐一核对这次模拟本身是否算出了题目所要的那个键值。这一步让他们能区分两种完全不同的错误来源：一种是模拟没跑对，另一种是模拟跑对了，但最终答案没有取自正确的证据。在此基础上，他们还做了"固定模拟"的分析，即在模拟结果相同的前提下，只比较证据使用方式造成的差异。此外，论文测试了三种干预：在检索条件下明确点名哪一份输出才是权威来源；对放得进上下文的输出直接内联；以及在提示中要求智能体正确舍入。

这样每一种修补手段针对的都是一个具体假设，而不是笼统地"改提示词"。实验结果显示，模型之间的差别相当明显。当智能体通过章节索引读取报告而不是在上下文里直接阅读时，GPT-5.1 和 GPT-5.2 的准确率分别下降 11.3 和 7.9 个百分点，而 Claude Opus 4.6 与 Claude Sonnet 4.6 没有检测到可见的代价。重跑模拟后发现，两个 GPT 模型算出目标值的频率与之前大致相当，变化出在证据来源上：在检索条件下，它们经常跳过报告，转而使用自己生成的、精度更高的输出文件作答，结果舍入到了相邻的选项。这就是 evidence substitution。把模拟结果固定后，检索仍然让 GPT-5.2 损失 9.4 个百分点，说明损失确实来自证据使用，而不只是模拟质量。GPT-5.4 的情况更有意思：它更频繁地做出正确模拟，这掩盖了大约十个百分点的证据使用损失，所以净变化与零无法区分。

在干预方面，明确点名权威输出，可使三个 GPT 模型的准确率比单纯检索高出 6.3 至 7.9 个百分点。对 GPT-5.1 和 GPT-5.2 来说，把放得下的输出直接内联，效果与点名相当，而要求正确舍入则没有帮助。这项工作的意义首先在于评估方法。只看最终准确率，GPT-5.4 看起来"没有受影响"，实际上是两股相反的力量互相抵消。论文提醒我们，评估 agent harness 里的上下文管理策略，应当看准确率是在哪里丢失的，而不只是看总分。对工业落地而言，把大体量工具输出落盘再检索，是节省 token 的常见做法，这篇论文说明它对某些模型并不是免费的，选择模型和选择上下文策略需要一起考虑。其次，结论给出了可操作的缓解路径：让工具明确标出权威输出，或者在输出够短时直接内联，成本很低，却能挽回相当一部分损失。对科学计算类智能体尤其如此，因为这类场景里相邻选项只差舍入，证据来源一错就会答错。对后续研究来说，用确定性模拟器加日志重放来拆解失败原因，是一个可复用的实验范式，可以推广到其他带有长输出的工具，例如数据库查询或代码执行环境。