何时该介入：用因果推断衡量智能体轨迹中途干预的真实价值

当前对智能体（agentic AI）系统的评测，主要依赖静态 benchmark。这类评测回答的是智能体在固定任务上能做到什么，却回答不了部署阶段更实际的问题：在一条正在运行的轨迹中间，要不要插手？插手的方式有很多，可以让人工复核智能体当前的输出，可以换用更昂贵的模型把关，也可以启动耗时的智能体式监督，把它引向不同的行为。这篇论文指出，这类干预值不值得做，本质上是一个因果推断问题，要问的是干预之后最终结果是否真的变好。难点在于问题是动态的：干预的效果取决于当前的上下文和环境，还取决于智能体接下来会怎么行动。静态 benchmark 的分数无法反映这些随状态变化的因素，所以对审计决策几乎没有指导价值。作者因此提出了第一个有方法论基础的框架，专门评估智能体轨迹内随机化干预的因果效应。这个框架只需要一个相对较小的轨迹数据集，就能估计一大类依赖上下文的干预策略的动态因果效应。估计得到的结构参数还可以直接用来构建安全排行榜，刻画不同智能体动作的风险，为审计排序提供依据。在方法层面，论文的出发点是在智能体运行的轨迹中引入随机化干预，例如对某一步的输出做验证，或者做筛查。

因为干预是随机分配的，不同干预选择之间的结果差异可以被解释为因果效应，而不是混杂因素造成的相关性。真正棘手的地方在于，单步干预的收益会通过后续轨迹传导到最终结果，这是一个典型的序贯决策与动态因果效应问题。作者估计一组结构参数，用它们来刻画干预在不同上下文、不同状态下对最终结果的影响，再据此评估一大类依赖上下文的干预策略，即根据当前状态决定是否干预的规则。这样一来，收集一次数据，就能离线比较许多种还没有真正部署过的干预策略，而不必为每一种策略都重新跑一遍昂贵的实验。摘要没有披露具体的估计器形式或网络结构，所以这里只能说明其思路：以随机化保证可识别性，以结构参数压缩动态过程，以参数化的方式回答反事实的策略评估问题。同一组参数也被用来排出风险榜单，指出哪些智能体动作最需要优先审计。实验部分，作者把方法应用到三个基准上：tau-bench Retail、ToolSandbox 和 ImpossibleBench。这三个环境分别涉及零售客服场景下的工具调用、带状态的工具使用，以及对能否识别不可能完成任务、是否会钻空子的检验，覆盖了不同类型的智能体行为与风险。论文报告的核心发现是，干预效果在不同的智能体动作和状态之间差异很大。换句话说，对所有步骤一视同仁地加验证，既可能浪费成本，也可能漏掉真正危险的环节；某些动作上的干预收益显著，另一些动作上则几乎没有帮助，甚至可能带来负面影响。

这个结果正好说明了为什么需要因果评估，而不是只看整体通过率。摘要没有给出具体的数值指标，也没有提及消融实验的细节，因此无法在此展开更多数字。但可以确定的是，作者用较小规模的随机化轨迹数据，就能把这种异质性刻画出来，并转化为可供实践者使用的动作级风险排名。这项工作的意义首先在于评测范式的转变。过去评估智能体，关注的是模型本身有多强；这篇论文关心的则是部署时的监督决策，即在什么时候花人力或算力去审计才划算。对工业落地来说，人工复核、强模型把关和智能体式监督都有成本，如果能知道干预的因果收益随状态怎样变化，就能把有限的审计预算用在风险最高、收益最大的地方，而安全排行榜正是这种优先级的直接输出。对研究社区来说，作者明确提出了因果推断与智能体评测交叉的研究议程，包括更丰富的干预类型、更复杂的策略类别，以及在更长轨迹中的估计问题。它也提醒我们，静态 benchmark 分数不能代替对部署策略的因果检验。当然，方法依赖随机化干预数据的收集，实际系统里能否方便地随机化，仍然需要在具体场景中权衡。总体上，这篇论文为智能体在真实世界里可靠、安全地部署提供了一套可操作的思路，也给后续研究留下了很大的空间。