Learning to Steer：用强化学习训练监督智能体，纠正 LLM Agent 目标漂移

长链条工具调用和多智能体协作，正在成为大语言模型完成复杂任务的主要方式。但任务越长，参与的角色越多，系统就越容易在执行中途跑偏。它可能反复检索无关内容，可能在子任务里越陷越深，也可能在智能体之间的传话中丢掉最初的目标。这篇论文把这类失败命名为目标漂移（goal drift）。漂移不会立刻报错，系统看起来仍在忙碌，算力和调用次数却在白白消耗，最终给出的结果也偏离用户的本意。作者的核心思路是不去重写执行器本身，而是在旁边放一个专门的监督者。这就是 steering agent。它在系统运行时持续观察，发现偏离就介入，把执行拉回正轨。论文的贡献有三点：第一，把目标漂移明确为一类独立的问题；第二，设计了一个可以同时用于单智能体和多智能体系统的在线监督框架；第三，给出了一套训练方法，让监督者真正学会判断漂移并给出有用的纠正。在方法上，steering agent 的关键设计是把监督拆成两个成本不同的决策。第一个决策是何时干预。这件事每一步都要做，所以走低成本的快速路径，只读取当前的执行上下文，快速判断系统有没有偏离目标。

第二个决策是如何干预。这件事只在确认需要时才做，所以走高成本的慢速路径，要结合上下文生成具体的纠偏内容，把执行器引回正确方向。这种分工很像人类的工作习惯：平时扫一眼进度，只有觉得不对劲时才停下来认真分析。训练上，作者把两条路径放在一起，用强化学习联合优化。一方面，用成对排序目标训练模型评估目标漂移的能力，让它能分辨哪种执行状态更接近目标、哪种已经偏离。另一方面，用 GRPO，即组内相对策略优化，训练模型生成有效的干预。GRPO 在同一问题的一组候选之间比较相对优劣，不需要单独训练价值网络。两种信号合在一起，用来激发作者所说的 steering intelligence，也就是评估漂移和生成有效干预这两项能力。实验集中在信息检索类的搜索任务上，这类任务需要多轮检索与推理，很容易出现漂移。论文把 steering agent 分别接到单智能体系统和多智能体系统上。结果显示，它对两种系统都提供了有效的监督，任务表现得到提升，执行效率也同时改善。效率提升的原因不难理解：及早纠偏，就少走了弯路，浪费的调用也随之减少。

更值得注意的是泛化性。摘要提到三项发现：第一，在搜索任务上训练出的引导能力，可以泛化到域外任务；第二，它可以迁移到训练时没见过的执行器，说明监督者学到的不是某个特定模型的习惯，而是对目标偏离本身的判断；第三，干预频率可以在不重新训练的情况下调节。这一点来自快慢两条路径的解耦设计，使用者可以按场景在监督强度和成本之间取舍。摘要没有给出具体的数字，这里不做推测。这项工作的意义首先在工业落地上。当前很多智能体产品在长任务上的痛点，不是单步能力不足，而是跑着跑着就偏了，而且很难在事前预防。一个独立的、可插拔的监督层，不要求改动现有执行器，对已经上线的系统更友好。能迁移到未见过的执行器，意味着一次训练有机会服务多个底座模型，降低维护成本。可调的干预频率，也让团队可以在预算和可靠性之间自行权衡。对研究社区来说，论文把目标漂移定义成可以度量、可以训练的对象，并把排序目标与 GRPO 结合，为后续的过程监督和智能体自我纠错提供了一条新路径。不过，实验目前集中在搜索类任务，更复杂的场景，比如代码生成或长周期的软件工程，是否同样有效，还需要后续验证。监督者本身也会犯错，它的误判会怎样影响执行器，同样值得进一步研究。