TRACE：基於信用估計的長程智能體回合級獎勵分配方法

在多智能体系统与复杂任务求解领域，如何准确评估长序列交互中的每一步贡献，即信用分配问题，一直是强化学习后训练阶段的核心挑战。传统的强化学习往往依赖最终任务的完成状态给予奖励，这种结局奖励在短程推理中表现良好，但在涉及数十甚至数百次工具调用的长程轨迹中，不仅信号极度稀疏且方差巨大。更严重的是，结局奖励具有误导性，一个最终失败的尝试可能包含了大量推动任务进展的有效动作，若仅以最终结果论英雄，这些有价值的中间步骤将被错误地赋予负优势，导致模型无法从复杂交互中有效学习。针对这一痛点，本文提出了TRACE（Turn-level Reward Assignment via Credit Estimation），一种专为智能体强化学习设计的密集信用分配机制。

其核心贡献在于打破了对单一结局奖励的依赖，通过细粒度的回合级奖励分配，使智能体能够精确识别并强化那些真正有助于目标达成的中间行为，从而在无需额外监督信号的情况下，显著提升长程任务中的决策质量与探索效率。TRACE的技术实现巧妙地结合了状态空间建模与时序差分学习理论。具体而言，该方法将智能体的完整交互轨迹视为在工具调用边界处发生的状态转移序列。为了量化每个状态的价值，TRACE利用一个冻结的参考模型获取黄金答案的条件对数概率，并将这些概率转化为对数比率状态值。

这一过程无需训练任何额外的价值网络或Critic模型，极大地降低了计算开销与实现复杂度。随后，算法通过计算相邻状态间对数比率的变化量，即一阶时序差分（Temporal-Difference），来推导每个具体动作的即时奖励。这种设计具有独特的数学美感：当智能体在冗余工具调用中徘徊时，状态值的变化趋于稳定，TD误差自动折叠，从而避免了奖励信号的过度放大或噪声累积。此外，该方法完全基于离线数据进行推导，不需要引入过程标签进行训练，也不需要复杂的冷启动监督微调阶段，使得整个训练流程更加纯粹且高效，特别适用于资源受限或数据获取困难的场景。

在实验验证环节，研究团队在多个高难度的搜索基准上对TRACE进行了全面评估，重点考察了其在长程复杂搜索任务中的表现。实验结果显示，TRACE在关闭网络的BrowseComp-Plus基准测试中取得了突破性进展。具体而言，Qwen3-4B模型在应用TRACE后，其性能指标从7.2大幅跃升至35.6，而Qwen3-30B-A3B模型也从8.4提升至42.6。这一提升不仅幅度巨大，而且是在完全去除冷启动监督微调、智能体中期训练以及在线网页数据训练的前提下实现的，证明了纯强化学习路径的可行性。

消融实验进一步揭示，TRACE学习到的搜索行为具有良好的泛化能力，能够成功迁移至开放网络的基准测试中。同时，训练曲线显示，引入TRACE后，模型在强化学习早期即表现出更快的收敛速度和更显著的改进趋势，这表明密集的回合级奖励信号有效地引导了探索方向，避免了传统稀疏奖励下常见的早期探索盲目性问题。从行业影响与未来展望来看，TRACE为开源社区和工业界提供了一种低成本、高效率的智能体训练范式。它证明了无需依赖昂贵的在线数据标注或复杂的冷启动阶段，仅通过改进奖励分配机制，即可充分挖掘基础模型的潜力。这对于降低大模型智能体化门槛、加速垂直领域智能体的落地应用具有重要意义。此外，TRACE所提出的基于对数比率状态值的信用估计框架，具有广泛的适用性，可推广至代码生成、自动化工作流等长程决策任务中。随着智能体系统在更复杂环境中的应用，如何精准评估长序列中的每一步贡献将成为关键，TRACE的工作为后续研究提供了重要的理论基础与方法论参考，有望推动强化学习在长程智能体领域向更密集、更细粒度的方向发展。