擴充套件長程終端智慧體的訓練資料:TerminalHorizon 用約 3000 條長軌跡微調 27B 模型,在 12 個基準上全面提升

Published · AI Daily — AI-assisted deep research, methodology & disclosure

這篇來自阿里巴巴高德(AMAP)實習團隊的論文提出 TerminalHorizon,一個全自動的資料合成引擎,專門為長程終端智慧體生成任務環境。它先讓獨立執行找出構造環境時被“提前做掉”的關鍵工作,再在同一目標下逐步擴充套件任務。得到 1,535 個任務環境和 2,852 條軌跡後,對 Qwen3.5-27B 做監督微調,在 Terminal-Bench 1.0、2.0、2.1 上分別達到 55.0%、55.8% 和 60.67%。結論來自作者自己的實驗,尚無獨立復現。

終端智慧體是指能在命令列環境裡自己動手完成任務的智慧體:讀檔案、跑命令、改程式碼、看輸出、再決定下一步。隨著它們從本地操作走向完成真實的專業任務,訓練資料的質量成了瓶頸。論文 2610.13166 來自阿里巴巴高德(AMAP)的實習團隊,題為《擴充套件長程終端智慧化的智慧體資料》,核心觀點是:短軌跡能教會智慧體敲命令和呼叫工具,卻教不會它如何在一次完整的問題求解裡積累證據、做出判斷、根據反饋不斷調整策略,並把中間結果變成最終交付物。高質量的長程軌跡能把這些行為模式及其相互聯絡保留在同一個解題過程裡,給智慧體提供更豐富的經驗。 但造這樣的資料有個隱蔽的陷阱。論文指出,合成環境時,常常會把本該由智慧體完成的關鍵工作提前做掉或者簡化。舉個例子:如果任務要求實現一個核心函式,而環境裡已經提供了這個函式,那麼剩下的工作可能只是改一個常數,智慧體就不再需要探索、實現和驗證,這條軌跡也就沒有教學價值。更長的任務或更多的互動回合,也並不必然延續這些行為模式、加強它們之間的聯絡。要解決的是:怎樣發現並補上那些超出原始解法的新要求,同時保持目標不變,並讓新增的工作建立在先前判斷、動作和結果之上,使這些模式隨任務推進繼續發展。 TerminalHorizon 的做法分兩個階段,全程自動。第一階段,從真實的專業工作出發構造可執行的終端任務環境,然後用“獨立執行”去識別構造過程中被省略的關鍵工作,並用得到的證據指導環境重建,讓該由智慧體做的事重新回到任務裡。第二階段,在同一目標下逐步擴充套件已被接受的任務,引入建立在前一階段結果之上的新要求,要求進一步的探索和改進,讓行為模式跨階段延伸。論文附錄中有一個照片庫同步任務的例子,同一個父任務分出兩條三代演化的分支,新增的要求從“一次性匯入”變成“帶有獨立編輯的二次同步”,再變成“處理下架與恢復”。用這套引擎,作者構建了 TerminalHorizon-3K:1,535 個任務環境和 2,852 條訓練軌跡,平均每條軌跡包含 8.6 個核心行為模式,覆蓋探索、構建、糾錯和驗證。

結果方面,對 Qwen3.5-27B 做監督微調得到的 TerminalHorizon-27B,論文稱在涵蓋終端任務、真實生產場景和通用推理的 12 個基準上全部優於基座。Terminal-Bench 1.0(80 個任務)、2.0 和 2.1(各 89 個任務)上,成績分別為 55.0%、55.8% 和 60.67%,論文給出相對基座的提升為 8.7、14.2 和 13.85(百分數)。評測中每個任務獨立跑三次取平均 pass@1,每個任務限時三小時,沙箱分別用 Daytona 和 E2B。在真實生產力任務上,AutomationBench 透過率提高 11.7%,部分得分提高 23.3%,VitaBench 提高 11.3%。它還比用同一基座和同一框架的 Terminal-Universe-27B 高 3.0%,而所用訓練軌跡不到後者的十分之一。訓練設定是融合 AdamW,學習率 1e-5,權重衰減 0.1,餘弦排程,帶 5% 預熱。

論文還做了幾項各 12 小時研究預算的遞迴自我改進案例,展示模型在拿到初步解之後還能繼續做實驗,根據反饋改進方法,並把有效的改進保留在最終交付物裡。讀這篇論文時要保持幾點謹慎。首先,所有數字來自作者自己的評測,我們沒有看到獨立復現,也沒有檢查其訓練細節與評測設定是否完全可比。其次,遞迴自我改進的案例是定性展示,不等於統計意義上的成功率。最後,“用不到十分之一的軌跡得到更高成績”的結論,對不同的基座和框架是否成立,還有待驗證。對想做智慧體訓練的團隊來說,最有價值的可能是它提出的方法論:先檢查合成環境裡有沒有“被偷做掉”的工作,再讓任務在同一目標下逐步長大。

另外值得一提的是論文對評測環境的交代:Terminal-Bench 的每個任務限時三小時,執行三次取平均,基礎設施出錯時最多重試兩次,AutomationBench 則用 600 次完整公開集的執行,並限制每條軌跡最多 50 步。這些細節說明作者在評測上做了比較認真的約束,但也意味著讀者若想復現,需要同樣的沙箱和框架配置,這並不是一件輕鬆的事。

Sources

FAQ

論文要解決什麼問題?

終端智慧體正在從本地操作走向完成真實的專業任務。短軌跡能展示命令和工具呼叫,卻體現不出智慧體如何透過探索積累證據、據此判斷、根據反饋不斷調整策略,並把中間結果變成最終交付物。更難的是,合成環境時常會把本應由智慧體完成的關鍵工作提前補全或簡化,例如任務要求實現一個核心函式,環境裡卻已經提供了,剩下的工作可能只是改一個常數。這樣智慧體就不需要探索、實現和驗證,訓練資料也就失去了價值。

TerminalHorizon 的方法是什麼?

分兩個階段。第一階段從真實的專業工作出發構造可執行的終端任務環境,然後用獨立執行去識別構造過程中被省略的關鍵工作,並用這些證據指導環境重建。第二階段在同一目標下逐步擴充套件已被接受的任務,引入建立在先前結果之上、需要進一步探索和改進的新要求,使各階段的行為模式互相連線。最終得到 TerminalHorizon-3K:1,535 個任務環境和 2,852 條訓練軌跡,平均每條軌跡包含 8.6 個核心行為模式。

效果如何,有什麼需要保留的地方?

對 Qwen3.5-27B 做監督微調得到 TerminalHorizon-27B,論文稱它在全部 12 個基準上都優於基座模型:Terminal-Bench 1.0、2.0、2.1 分別為 55.0%、55.8% 和 60.67%,相對基座提升 8.7、14.2 和 13.85(論文的百分數);在 AutomationBench 上透過率提高 11.7%、部分得分提高 23.3%,VitaBench 提高 11.3%。它還比同一基座、同一框架的 Terminal-Universe-27B 高出 3.0%,而訓練軌跡不到後者的十分之一。這些都是作者自己的評測,我們沒有看到獨立復現;12 小時的遞迴自我改進案例是定性展示。