MLExpert：自律ML工学を担うエージェントモデルの訓練
本論文はAI4AI、つまり大規模言語モデルがAIシステムを自律的に開発・改善する課題を扱います。長期的な機械学習エンジニアリング（MLE）では、各実験のフィードバックが複数の過去の判断の結果であり、1回の実行に高コストな実験が多数含まれます。そのため、長い軌跡から有用な教師信号を選び、途中結果から学ぶ必要があります。著者らは事後学習の手法を提案し、35B混合専門家（MoE）のエージェントモデルMLExpertを訓練しました。Kaggle-MLE Factoryで実行可能なタスクと対話フレームワークを構築し、階層型エージェントSFTで結果重視の教師信号によりツール利用とコーディング能力をMLEへ転移します。さらにWindowed Interaction RL（WIRL）では、連続する2回の実験結果の間の複数ターンの判断を1つの実行ウィンドウとして扱い、結果に基づく報酬を共有し、非同期収集と方策補正で軌跡の終了前に方策を更新します。MLE-Bench Liteでは、基盤モデルの平均メダル率が37.9%から72.7%に向上し、Kimi-K3やGLM-5.3など大型の最先端モデルに並びました。NatureBench Lite、エージェント足場の最適化、アルゴリズム最適化でも改善が見られ、学習した最適化能力の転移が示唆されます。
背景と概要
本論文はAI4AI、つまり大規模言語モデルがAIシステムを自律的に開発・改善する課題を扱っています。著者らはこれを再帰的自己改善（RSI）への現実的な道筋と位置づけています。その中で最も具体的な舞台が、機械学習エンジニアリング（MLE）です。エージェントはタスクを読み、コードを書き、モデルを訓練し、結果を確認して方針を修正します。この流れを何度も繰り返します。
初期のシステムは、人手で設計したワークフローで長い実験列を管理していました。最近のシステムでは、モデル自身が対話を主導します。実験の順序を自分で決め、実行のフィードバックに応じて最適化の方針を変えます。ここに訓練上の難しさが生じます。1回の実験のフィードバックは、複数の過去の判断が重なった結果です。しかも1回の実行には、高コストな実験が数多く含まれます。
そのため訓練では、非常に長い軌跡から有用な教師信号を選び出す必要があります。実行全体が終わってから1つのスコアを受け取るだけでなく、途中の結果からも学ばなければなりません。著者らはこの課題に対し、自律的な長期MLE最適化のための事後学習の手法を提案しました。そして35B混合専門家（MoE）のエージェントモデルMLExpertを訓練しています。
深掘り分析
手法は3つの要素からなります。1つ目はKaggle-MLE Factoryです。Kaggle形式の機械学習問題を、実際に実行できるタスクへ変換し、対話フレームワークを備えます。モデルは次にどの実験を行うか、結果をどう方針に反映するかを自分で決めます。訓練の信号は静的な質問応答ではなく、実行可能な環境から得られます。 2つ目は階層型エージェントSFTです。最終結果を重視した教師信号を使い、すべての軌跡を一律に模倣するのではなく、結果に基づいて選びます。基盤モデルがもともと持つツール利用とコーディングの能力を、MLEの場面へ転移させる役割です。 3つ目が、最も重要なWindowed Interaction RL（WIRL）です。連続する2回の実験結果の間で、モデルは通常いくつもの判断を重ねます。データの確認、特徴量の変更、パラメータ調整、スクリプトの作成などです。WIRLはこの区間全体を1つの実行ウィンドウとして扱い、ウィンドウ内のすべてのターンが、結果に基づく同じ報酬を共有します。
WIRLは長期MLEの訓練で何を解決するのでしょうか。WIRLは、実験1回を単位として功績を割り当てる方法です。2つの実験結果の間にある複数ターンの判断を1つのウィンドウにまとめ、結果に基づく報酬を共有させます。ターンごとの報酬より定義しやすく、軌跡全体に1つだけ報酬を与える方式より密度が高くなります。 実験は高価なので、著者らは非同期収集と方策補正も組み合わせました。軌跡が終わる前でも、完了したウィンドウを使って方策を更新できます。非同期収集で生じるデータの古さは、方策補正が扱います。
業界への影響
中心となる成果はMLE-Bench Liteです。MLExpertは、基盤モデルの平均メダル率を37.9%から72.7%へ引き上げました。ほぼ2倍です。35BのMoEモデルが、Kimi-K3やGLM-5.3といった大型の最先端モデルに並んだことになります。この向上は、パラメータ数の増加ではなく、長期の実験に向けた事後学習によるものと考えられます。 転移能力も検証されています。MLExpertはNatureBench Lite、エージェント足場の最適化、アルゴリズム最適化でも改善しました。これらはKaggle型のモデリング競技とは異なりますが、どれも「案を出し、実行し、フィードバックを読み、改善する」という同じ循環を必要とします。モデルが特定のベンチマークを記憶したのではなく、転移可能な最適化能力を学んだことを示唆する結果です。
なお、概要にはアブレーション実験の数値がありません。階層型SFT、WIRL、非同期補正がそれぞれどれだけ寄与したかは示されていません。詳しく知るには、論文本文の実験章を確認する必要があります。 設計の考え方はMLEの外にも応用できます。フィードバックが得られる節目で軌跡を区切る発想は、科学実験の自動化、システム調整、自動化された研究など、結果が遅れて返る領域でも使えるでしょう。実務の面でも、35Bのモデルが大型モデルに迫るなら、自動モデリングや自動調整、足場の最適化を担う社内システムを、より低い推論コストで組める可能性があります。
今後の展望
MLExpertは、機械学習システムを改善するのがうまくなるモデル、というAI4AIの具体的な一片です。ただし、概要から言えるのはベンチマーク上の結果に限られます。MLE-Bench Liteのメダル率は実際のエンジニアリング業務の代理指標です。NatureBench Lite、足場最適化、アルゴリズム最適化の結果も、最先端モデルとの同等性ではなく、改善として報告されています。
今後の課題はいくつかあります。第一に、各構成要素の寄与です。これはアブレーションでしか確認できません。第二に、実験が安価な場合や、1つの判断が何ウィンドウも後の結果に影響する場合でも、ウィンドウ単位の功績割り当てが通用するかという点です。第三に、より長い実行や大きな基盤モデルへどこまで拡張できるかです。
自律的な改善能力が高まるほど、評価の信頼性、実験コストの管理、安全面の境界に対する要求も高まります。論文はこれらを後続の研究に残しています。それでもWIRLとKaggle-MLE Factoryは、高価で長期にわたるタスクでエージェントを訓練するための、明確で検証可能なひな型を示しています。
Sources
FAQ
MLExpertとは何ですか？
MLExpertは、自律的な長期の機械学習エンジニアリングのために訓練された35B混合専門家（MoE）のエージェントモデルです。Kaggle-MLE Factoryで実行可能なタスクを作り、階層型エージェントSFTとWindowed Interaction RL（WIRL）で訓練しています。
MLExpertの結果はなぜ重要ですか？
MLE-Bench Liteで、MLExpertは基盤モデルの平均メダル率を37.9%から72.7%に引き上げ、Kimi-K3やGLM-5.3など大型の最先端モデルに並びました。NatureBench Liteやアルゴリズム最適化でも改善し、学習した最適化能力の転移が示唆されます。
MLExpertについて今後何に注目すべきですか？
本記事は各構成要素の寄与を示すアブレーション数値を提供していません。階層型SFT、WIRL、非同期の方策補正がそれぞれどれだけ効くかは、論文本文の実験章で確認する必要があります。評価の信頼性、実験コスト、安全面も注視すべきです。