MLExpert：訓練自主機器學習工程的智能體模型

大语言模型正在从辅助科研和工程，走向自主开发、改进 AI 系统，论文把这一方向称为 AI4AI，并视为通向递归式自我改进（RSI）的一条现实路径。机器学习工程（MLE）是其中最具体的战场：智能体要读懂任务、写代码、训练模型、查看结果，再调整方案，一轮接一轮地做实验。早期系统多靠人工设计的工作流来编排长程实验，近来的系统改为由模型主导交互，让模型自己安排实验，并根据执行反馈调整优化策略。这又带来一个训练上的难题：每次实验的反馈，其实是前面好几个决策共同作用的结果，而一次完整的 MLE 运行包含大量昂贵的实验。训练因此必须从很长的交互轨迹里挑出有用的监督信号，并且能从中间结果里学习，不能只等整条轨迹结束后拿一个总分。论文针对这个问题提出一套面向自主长程 MLE 优化的后训练方法，并用它训练出 MLExpert，一个 35B 的混合专家（MoE）智能体模型。核心贡献有三块：Kaggle-MLE Factory 负责构造可执行任务与交互框架，分层智能体 SFT 负责迁移通用能力，Windowed Interaction RL（WIRL）负责按实验窗口分配奖励。先看数据与环境。Kaggle-MLE Factory 的作用，是把 Kaggle 类的机器学习问题批量变成模型能真正运行的任务，并配上一套 interaction harness，让模型自己决定下一步做什么实验、怎样根据结果改方案。训练信号因此来自真实可执行的环境，而不是静态问答。

第二步是分层智能体 SFT（Hierarchical agentic SFT）。它没有把所有轨迹一股脑拿来模仿，而是采用 outcome-guided supervision，也就是以最终结果为导向去挑选监督，把基座模型已有的通用工具调用和编码能力迁移到 MLE 场景。第三步是 WIRL，也是全文最关键的设计。模型在两次相邻的实验结果之间，往往要做多轮决策，比如读数据、改特征、调参数、写脚本。WIRL 把这一整段看成一个执行窗口，窗口内所有轮次共享同一个基于结果的奖励。这样，信用分配的粒度落在"一次实验"上：它比逐轮奖励更容易定义，又比整条轨迹只给一个奖励更密集。为了不被昂贵的实验拖慢训练，论文还使用异步采集（asynchronous collection）和策略修正（policy correction），使策略可以在轨迹尚未结束时就用已完成的窗口更新，而异步带来的数据滞后由修正机制来处理。评测的主战场是 MLE-Bench Lite。按摘要给出的结果，MLExpert 把基座模型的平均奖牌率从 37.9% 提高到 72.7%，几乎翻了一倍，水平与 Kimi-K3、GLM-5.3 这类更大的前沿模型相当。这里值得注意的是参数规模：MLExpert 是 35B 的 MoE 模型，却能在这一基准上追平更大的模型，说明提升主要来自针对长程实验的后训练，而不是单纯靠堆参数。

论文还检验了迁移能力，在 NatureBench Lite、智能体脚手架优化（agent scaffold optimization）和算法优化三类任务上，MLExpert 都有改进。这三类任务和 Kaggle 式的表格或建模竞赛并不完全相同，却都需要"提出方案、运行、看反馈、再改进"的循环，所以结果支持作者的判断：模型学到的是一种可迁移的优化能力，而不是对某个榜单的记忆。需要说明的是，摘要没有给出消融实验的具体数字，也没有说明各组件各自贡献多少，想了解分层 SFT、WIRL 和异步修正分别起多大作用，需要读全文的实验章节。这项工作的意义首先在于训练范式。长程智能体任务的难点，往往不是模型不会写代码，而是奖励太稀疏、信用难分配、环境又贵。WIRL 用"实验结果之间的窗口"作为自然的分段单位，给出了一个直观且可操作的折中，其他需要长时间交互的任务，比如科学实验自动化、系统调优、自动化研究，都可以借鉴这种按反馈节点切分轨迹的思路。其次，异步采集加策略修正，让训练不必等一整条漫长轨迹跑完，这对昂贵环境下的强化学习尤其实用。第三，从工业落地看，一个 35B 的开源规模模型就能在 MLE 任务上接近更大的前沿模型，意味着团队可以用更低的推理成本，搭建自动调参、自动建模和脚手架优化的内部系统。最后，在 AI4AI 与递归式自我改进的大图景里，这篇论文提供了一块具体的拼图：让模型更会改进机器学习系统。当然，自主改进的能力越强，对评测可靠性、实验成本和安全边界的要求也越高，这些问题仍然留给后续研究。