扩展长程终端智能体的训练数据:TerminalHorizon 用约 3000 条长轨迹微调 27B 模型,在 12 个基准上全面提升

Published · AI Daily — AI-assisted deep research, methodology & disclosure

这篇来自阿里巴巴高德(AMAP)实习团队的论文提出 TerminalHorizon,一个全自动的数据合成引擎,专门为长程终端智能体生成任务环境。它先让独立执行找出构造环境时被“提前做掉”的关键工作,再在同一目标下逐步扩展任务。得到 1,535 个任务环境和 2,852 条轨迹后,对 Qwen3.5-27B 做监督微调,在 Terminal-Bench 1.0、2.0、2.1 上分别达到 55.0%、55.8% 和 60.67%。结论来自作者自己的实验,尚无独立复现。

终端智能体是指能在命令行环境里自己动手完成任务的智能体:读文件、跑命令、改代码、看输出、再决定下一步。随着它们从本地操作走向完成真实的专业任务,训练数据的质量成了瓶颈。论文 2610.13166 来自阿里巴巴高德(AMAP)的实习团队,题为《扩展长程终端智能化的智能体数据》,核心观点是:短轨迹能教会智能体敲命令和调用工具,却教不会它如何在一次完整的问题求解里积累证据、做出判断、根据反馈不断调整策略,并把中间结果变成最终交付物。高质量的长程轨迹能把这些行为模式及其相互联系保留在同一个解题过程里,给智能体提供更丰富的经验。 但造这样的数据有个隐蔽的陷阱。论文指出,合成环境时,常常会把本该由智能体完成的关键工作提前做掉或者简化。举个例子:如果任务要求实现一个核心函数,而环境里已经提供了这个函数,那么剩下的工作可能只是改一个常数,智能体就不再需要探索、实现和验证,这条轨迹也就没有教学价值。更长的任务或更多的交互回合,也并不必然延续这些行为模式、加强它们之间的联系。要解决的是:怎样发现并补上那些超出原始解法的新要求,同时保持目标不变,并让新增的工作建立在先前判断、动作和结果之上,使这些模式随任务推进继续发展。 TerminalHorizon 的做法分两个阶段,全程自动。第一阶段,从真实的专业工作出发构造可执行的终端任务环境,然后用“独立执行”去识别构造过程中被省略的关键工作,并用得到的证据指导环境重建,让该由智能体做的事重新回到任务里。第二阶段,在同一目标下逐步扩展已被接受的任务,引入建立在前一阶段结果之上的新要求,要求进一步的探索和改进,让行为模式跨阶段延伸。论文附录中有一个照片库同步任务的例子,同一个父任务分出两条三代演化的分支,新增的要求从“一次性导入”变成“带有独立编辑的二次同步”,再变成“处理下架与恢复”。用这套引擎,作者构建了 TerminalHorizon-3K:1,535 个任务环境和 2,852 条训练轨迹,平均每条轨迹包含 8.6 个核心行为模式,覆盖探索、构建、纠错和验证。

结果方面,对 Qwen3.5-27B 做监督微调得到的 TerminalHorizon-27B,论文称在涵盖终端任务、真实生产场景和通用推理的 12 个基准上全部优于基座。Terminal-Bench 1.0(80 个任务)、2.0 和 2.1(各 89 个任务)上,成绩分别为 55.0%、55.8% 和 60.67%,论文给出相对基座的提升为 8.7、14.2 和 13.85(百分数)。评测中每个任务独立跑三次取平均 pass@1,每个任务限时三小时,沙箱分别用 Daytona 和 E2B。在真实生产力任务上,AutomationBench 通过率提高 11.7%,部分得分提高 23.3%,VitaBench 提高 11.3%。它还比用同一基座和同一框架的 Terminal-Universe-27B 高 3.0%,而所用训练轨迹不到后者的十分之一。训练设置是融合 AdamW,学习率 1e-5,权重衰减 0.1,余弦调度,带 5% 预热。

论文还做了几项各 12 小时研究预算的递归自我改进案例,展示模型在拿到初步解之后还能继续做实验,根据反馈改进方法,并把有效的改进保留在最终交付物里。读这篇论文时要保持几点谨慎。首先,所有数字来自作者自己的评测,我们没有看到独立复现,也没有检查其训练细节与评测设置是否完全可比。其次,递归自我改进的案例是定性展示,不等于统计意义上的成功率。最后,“用不到十分之一的轨迹得到更高成绩”的结论,对不同的基座和框架是否成立,还有待验证。对想做智能体训练的团队来说,最有价值的可能是它提出的方法论:先检查合成环境里有没有“被偷做掉”的工作,再让任务在同一目标下逐步长大。

另外值得一提的是论文对评测环境的交代:Terminal-Bench 的每个任务限时三小时,运行三次取平均,基础设施出错时最多重试两次,AutomationBench 则用 600 次完整公开集的运行,并限制每条轨迹最多 50 步。这些细节说明作者在评测上做了比较认真的约束,但也意味着读者若想复现,需要同样的沙箱和框架配置,这并不是一件轻松的事。

Sources

FAQ

论文要解决什么问题?

终端智能体正在从本地操作走向完成真实的专业任务。短轨迹能展示命令和工具调用,却体现不出智能体如何通过探索积累证据、据此判断、根据反馈不断调整策略,并把中间结果变成最终交付物。更难的是,合成环境时常会把本应由智能体完成的关键工作提前补全或简化,例如任务要求实现一个核心函数,环境里却已经提供了,剩下的工作可能只是改一个常数。这样智能体就不需要探索、实现和验证,训练数据也就失去了价值。

TerminalHorizon 的方法是什么?

分两个阶段。第一阶段从真实的专业工作出发构造可执行的终端任务环境,然后用独立执行去识别构造过程中被省略的关键工作,并用这些证据指导环境重建。第二阶段在同一目标下逐步扩展已被接受的任务,引入建立在先前结果之上、需要进一步探索和改进的新要求,使各阶段的行为模式互相连接。最终得到 TerminalHorizon-3K:1,535 个任务环境和 2,852 条训练轨迹,平均每条轨迹包含 8.6 个核心行为模式。

效果如何,有什么需要保留的地方?

对 Qwen3.5-27B 做监督微调得到 TerminalHorizon-27B,论文称它在全部 12 个基准上都优于基座模型:Terminal-Bench 1.0、2.0、2.1 分别为 55.0%、55.8% 和 60.67%,相对基座提升 8.7、14.2 和 13.85(论文的百分数);在 AutomationBench 上通过率提高 11.7%、部分得分提高 23.3%,VitaBench 提高 11.3%。它还比同一基座、同一框架的 Terminal-Universe-27B 高出 3.0%,而训练轨迹不到后者的十分之一。这些都是作者自己的评测,我们没有看到独立复现;12 小时的递归自我改进案例是定性展示。