更快的决策不等于更好的智能体：4,500 次任务执行检验 Jev 在 ALFWorld 与 AndroidWorld 中的效率传导

论文 2610.13092 于 2026 年 10 月中旬出现在 arXiv 上，题目是《更快的决策并不让智能体更好：Jev 在智能体工作流中的实证研究》。它的出发点很实际：智能体完成任务靠的是反复做决策，而大模型通常就是做这些决策的核心。最近出现的 Jev 声称能让这些决策更快、更便宜。可是局部的节省，能不能变成完成整件任务时的高效、可靠，还不清楚。我们站点在 10 月 10 日的新闻里提到过 Jev：它由 TypeSafe AI 发布，基于 Transformer 但不是大语言模型，输出的是概率而不是文本。论文把它称为“系统一模型”，通过类型化输出给出按指令定义的判断，包括对一组给定选项的概率。 先看研究设计。作者选了两个有代表性的场景：ALFWorld 里的家居具身任务，用文本环境和 valid_unseen 划分里的全部 134 个任务；AndroidWorld 里的手机应用使用，用文本化的界面观察，对 116 种任务类型各取一个固定实例。五个智能体家族里，ALFWorld 有 ReAct 和 Reflexion，AndroidWorld 有 T3A、AutoDroid 和 Droidrun 的 FastAgent。每个家族都把“动作选择”这一步换成一次 Jev 请求，保持周围的观察、历史和执行机制不变，并与原配置对比；ALFWorld 还多设了一个“LLM-Choice”对照，让大模型在同样的候选列表里选。每个配置在同样任务上跑三遍，合计 4,500 次任务执行。所有大模型决策和辅助生成用 gpt-5.6-luna，Jev 决策用 jev-1.13.0。成本核算按每百万词元计：大模型输入 0.20 美元、输出 1.20 美元，Jev 输入 0.042 美元、输出为零。

再看结果，第一层是有效性，差异不均匀。ALFWorld 上，ReAct-J 和 Reflexion-J 的成功率是 96.02% 和 98.01%，比原配置低 1.49 和 1.74 个百分点；在共享候选接口的对照下，差距缩小到 1.00 和 0.00 个百分点。AndroidWorld 上，Jev 版本比 T3A、AutoDroid 和 FastAgent 分别低 13.22、2.30 和 18.10 个百分点，两个 AutoDroid 变体的成功率都低于 20%。任务难度也不只取决于序列长度：Jev 版本在 ALFWorld 的“检查、放置、冷却”任务上达到 100%，却在“清洗”任务上落后约 8.6 和 7.5 个百分点；AndroidWorld 的 T3A 和 FastAgent 即便在预算最短的一档也落后 12.5 和 15.3 个百分点。 第二层是成本与时间，节省比速度更容易传导。ALFWorld 上，ReAct 与 Reflexion 的成本分别降低 50.9% 和 32.6%，时间降低 47.6% 和 37.8%。AndroidWorld 上，T3A、AutoDroid、FastAgent 的成本分别降低 17.1%、68.8% 和 43.0%，时间只降低 10.6% 和 5.7%，FastAgent 甚至增加了 0.7%，所有家族每个任务使用的词元都更多。原因是动作选择之外的工作吞掉了节省：基线 ReAct 的 71.17 秒里有 68.31 秒用在选动作上，Jev 把这一项降到 17.25 秒，加上 17.23 秒的辅助推理后仍保留大幅节省；而 T3A 的辅助生成从 67.47 秒涨到 96.99 秒，占 Jev 推理支出的 81.9%；FastAgent 做出的决策多了 44.1%，一步一个工具的配置让决策更便宜，但交互序列更长。

第三层是真正关键的：完成度决定节省的价值。如果只比较两个配置都完成的任务，ALFWorld 保留 64.8% 到 66.2% 的成本降幅和 59.2% 到 60.8% 的时间缩短。但把失败也算进去，情况会变：Reflexion-J 中只占 2.0% 的执行，因为恢复失败消耗了 53.3% 的推理支出。按每次成功交付的成本算，四个家族下降，T3A 却上升 7.7%，从 68.70 毫美元涨到 73.97 毫美元，这个上升的 95% 区间跨过零；也就是说，在观察到的均值上，较低的完成率抵消了 T3A 每次尝试 17.1% 的成本节省。FastAgent 的任务时间几乎不变而完成率更低，使每次成功交付的时间从 239.4 秒涨到 377.8 秒。 第四层是失败轨迹。作者对 43 对任务、258 次执行做了人工编码，两位作者独立标注，平均 Cohen's kappa 为 0.867。在“Jev 持续失败而基线持续成功”的组里，57 次 Jev 执行有 40 次出现恢复失败、29 次出现无效搜索，而基线对应只有 3 次和 2 次。典型案例是：在 Wi-Fi 任务里，Jev 选了标签含糊的开关，却宣布完成，目标其实没有达到，这个终止判断断送了纠错机会；在 ALFWorld 里，把手巾当成了布，之后的推理一直在错误的对象上继续。Reflexion-J 第一次尝试的成功率是 95.27%，高于基线的 93.53%，但它此后只恢复了 19 次初始失败中的 11 次，基线则恢复了 26 次中的 25 次，最终成功率因此更低。

论文的讨论给出了两个方向。对模型开发，作者建议保留简洁的数值输出，同时增强对目标、动作前置条件和矛盾反馈的敏感度，用成功与失败轨迹的对比来训练，并输出“是否有任何可用动作能推进目标”的校准置信度。对系统设计，作者建议把决策当作有可观察输入、结果和成本的显式组件，候选接口应暴露目标身份、前置条件和预期状态变化，检查要集中在完成判断和反复无进展这两个失败变成终局的节点。作者特别强调，比较的是被评估的集成方式，候选构造、辅助生成和反馈机制都会影响结果，不同家族之间的比较还受交互预算和工作流设计差异的影响。 我们的判断是，这篇论文的价值，是把一个常见的营销叙事改写成了可检验的问题：便宜的决策不等于便宜的结果。它给出的数字很具体，也有边界：只有文本观察、只有五个智能体家族、一个固定种子。因此对工程团队的实际建议是，在引入任何“小而快”的决策模型之前，先测它在你的工作流里占了多少时间，再测失败后的恢复成本，并用“每次成功交付的成本与时间”作为验收指标，而不是只看每次调用的价格。