AI 後訓練缺什麼？一項關於 AI-for-AI 能力的實證分析

这篇论文瞄准一个正在成型的范式：让大语言模型智能体端到端地为另一个大语言模型完成后训练。随着智能体能够编写训练代码、启动训练任务、评估检查点并据此改善下游性能，AI-for-AI 不再只是概念，而开始具备工程可行性。然而作者敏锐地指出，这种热闹的景象背后隐藏着一个被混淆的关键区分：执行层能力与策略层能力。执行层能力指的是在某个已选定的训练策略内部进行迭代优化，比如调整学习率、更换优化器、修改数据配比；而策略层能力则更高一层，它要求智能体随着实验证据的积累，主动反思并修正自身的高层判断，比如意识到当前策略根本走错方向而整体转向。论文的核心贡献正是把这两种能力拆开，并追问：真正限制智能体后训练效果的，究竟是哪一个层面。作者认为，此前的工作往往把执行层面的进步误读为整体能力的提升，从而掩盖了更深层的短板。

为了厘清这个问题，论文首先分析了大量公开释放的后训练轨迹语料。这些轨迹来自不同任务上的智能体，记录了它们如何制定策略、如何执行、如何根据评估结果调整。分析发现一个稳定而耐人寻味的现象：无论任务如何变化，智能体的训练策略几乎在开始时就被锁定，此后整个剩余算力预算都被消耗在既定策略内部的局部微调上，极少出现对策略本身的重新评估。找到这一现象后，作者没有停留在描述层面，而是系统地提出三种可能的解释，并设计成逐级递进的干预实验。第一种是缺失经验，即智能体缺乏足够的范例来指导执行；第二种是缺失引导，即智能体在策略选择上缺少方向性的提示；第三种是推理不足，即智能体没有足够的算力去深思熟虑地规划。这三种解释从浅到深，对应着从执行层到策略层的不同假设，构成了一套层次分明的诊断框架。

在实验设置上，论文围绕三种解释依次施加逐步加强的干预，并在多个基准上进行检验，其中明确报告了 GSM8K 与 HumanEval 两个常用基准的表现。关键结果呈现出一个层层递进的格局：经验驱动的脚手架在各方面都显著提升了执行效果，GSM8K 提升 12.6 分、HumanEval 提升 40.8 分，效果全面而可观，但它并没有改变策略静态这一根本问题；人类引导则被证明能够有效重定智能体的初始策略，说明策略选择本身并非完全无解，然而一旦训练真正启动，智能体又会迅速回退到局部调整的循环中，引导的效果难以维持；额外的推理算力在较容易的任务上确实带来了收益，却在最困难的任务上几乎毫无起色。这三组消融式的发现共同指向一个结论：无论是补经验、给引导还是加算力，都未能触及问题的核心。智能体真正缺失的，是一种在执行过程中自发重新评估并修正策略的机制，而这种机制目前既不在经验里，也不在外部引导中，更不是单纯堆推理算力就能获得的。从行业意义与潜在影响来看，这篇论文的价值在于它把 AI-for-AI 这一热门方向拉回到了一个被忽视的基础问题上：我们究竟该为能自我训练的智能体补齐哪一块能力。对开源社区而言，它提示研究者不应只满足于在既定流程里刷高执行指标，而应关注策略层面的自适应机制设计；对工业落地而言，它说明即便投入大量算力与范例，若智能体缺乏执行中的策略重估能力，后训练的效率天花板仍会早早出现；对后续研究而言，这篇工作更像是一份清晰的诊断书，它用实证数据划出了三条已被排除或仅部分有效的改进路径，从而把研究者的注意力重新引向那个真正关键的缺口。这种以实证驱动、以分层干预为手段的研究方式，也为如何系统性地评估智能体能力提供了可借鉴的范式。