長期的な端末エージェントのデータを拡張する：TerminalHorizonは約3,000本の長い軌跡で27Bモデルを微調整し、12のベンチマークすべてで向上

端末エージェントとは、コマンドライン環境で自分で作業を進めるエージェントです。ファイルを読み、コマンドを実行し、コードを直し、出力を見て、次の手を決めます。こうしたエージェントがローカル操作から実際の専門的な仕事へ進むにつれ、訓練データの質が壁になっています。論文2610.13166は、阿里巴巴の高徳（AMAP）のインターンチームによるもので、題は「長期的な端末知能のためのエージェントデータの拡張」です。中心の考えは、短い軌跡はコマンドを打ちツールを呼ぶことは教えられるが、1つの完結した問題解決の中で、証拠を集め、判断し、フィードバックで方針を調整し続け、中間結果を最終成果物に変える方法は教えられない、というものです。質の高い長い軌跡は、こうした行動パターンとその結びつきを1つの過程の中に残し、エージェントにより豊かな経験を与えます。

こうしたデータを作るには、見えにくい落とし穴があります。論文によれば、環境を合成するとき、エージェントがするはずだった重要な作業が、前もって済まされたり簡略化されたりしがちです。たとえば、タスクが核となる関数の実装を求めているのに、環境がすでにその関数を提供していると、残る作業は定数を1つ変えることだけになりえます。すると探索、実装、検証が消え、その軌跡には教える価値がなくなります。タスクを長くしたりやり取りを増やしたりしても、これらのパターンが自動で延び、結びつきが強まるわけではありません。課題は、同じ目標のまま、元の解を超える新しい要件を見つけて加え、追加の作業が前の判断、操作、結果の上に積み上がるようにして、タスクが進むにつれてパターンが育ち続けるようにすることです。

TerminalHorizonは全自動の2段階で動きます。第1段階では、実際の専門的な仕事から実行可能な端末タスク環境を作ります。その後「独立実行」で、構築の際に省かれた重要な作業を見つけ、得られた証拠を再構築に使い、エージェントがすべき作業をタスクに戻します。第2段階では、受け入れられたタスクを同じ目標の下で段階的に拡張し、前の段階の結果に依存する新しい要件を加えて、さらなる探索と改善を求め、行動パターンを段階をまたいで延ばします。付録には写真ライブラリの同期タスクの例があり、1つの親タスクから3世代の2つの分岐が生まれ、新しい要件は「一方向の取り込み」から「独立した編集を伴う2回目の同期」、さらに「廃止と復元の扱い」へ進みます。このエンジンで著者らはTerminalHorizon-3Kを作り、1,535のタスク環境と2,852本の訓練軌跡が含まれ、1軌跡あたり平均8.6の中核パターンが探索、構築、誤りの修正、検証にわたります。

結果では、Qwen3.5-27Bを教師あり微調整したTerminalHorizon-27Bが、論文によれば、端末タスク、実運用の場面、一般推論にわたる12のベンチマークすべてで基盤モデルを上回りました。Terminal-Bench 1.0（80タスク）、2.0と2.1（各89タスク）では55.0%、55.8%、60.67%で、基盤モデルに対する向上は論文の百分率で8.7、14.2、13.85です。各タスクを独立に3回走らせて平均pass@1を報告し、1タスクあたり3時間で、サンドボックスはDaytonaまたはE2Bです。実運用に近いタスクでは、AutomationBenchの合格率が11.7%、部分点が23.3%、VitaBenchが11.3%向上しました。同じ基盤とフレームワークを使うTerminal-Universe-27Bを、10分の1未満の訓練軌跡で3.0%上回ったとも述べています。訓練はfused AdamW、学習率1e-5、重み減衰0.1、コサインスケジュール、5%のウォームアップです。

論文は、それぞれ12時間の研究予算を持つ再帰的な自己改善の事例もいくつか行い、モデルが最初の解の後も実験を続け、フィードバックで方法を改善し、有効な改善を最終成果物に残せることを示しています。読むときの注意がいくつかあります。第一に、すべての数字は著者自身の評価によります。独立した再現は見ておらず、訓練の詳細と評価設定が比較対象と完全に同じ条件かも確認していません。第二に、自己改善の事例は定性的で、統計的な成功率ではありません。第三に、10分の1未満の軌跡でより高い成績という主張は、他の基盤モデルやフレームワークでの検証が必要です。エージェントを訓練するチームにとって最も役立つのは、おそらくその方法論です。合成環境に「肩代わりされた作業」がないかをまず確かめ、そのうえで同じ目標の下でタスクを育てていくというやり方です。