Agentendaten für langfristige Terminal-Intelligenz skalieren: TerminalHorizon verfeinert ein 27-Mrd.-Modell mit rund 3.000 langen Trajektorien und verbessert sich in allen 12 Benchmarks

Ein Terminal-Agent ist ein Agent, der in einer Kommandozeilenumgebung selbständig arbeitet: Er liest Dateien, führt Befehle aus, ändert Code, schaut sich die Ausgabe an und entscheidet über den nächsten Schritt. Je mehr solche Agenten von lokalen Operationen zu echten Fachaufgaben übergehen, desto stärker wird die Qualität der Trainingsdaten zum Engpass. Die Arbeit 2610.13166 eines Praktikantenteams von AMAP bei Alibaba trägt den Titel „Scaling Agentic Data for Long-Horizon Terminal Intelligence“. Ihre Kernthese: Kurze Trajektorien bringen einem Agenten bei, Befehle zu tippen und Werkzeuge aufzurufen, aber nicht, wie er innerhalb eines vollständigen Problemlöseprozesses Belege sammelt, Urteile fällt, seine Strategie nach Rückmeldung anpasst und Zwischenergebnisse in ein Endergebnis verwandelt. Hochwertige lange Trajektorien halten diese Verhaltensmuster und ihre Verbindungen in einem einzigen Prozess zusammen und geben dem Agenten reichere Erfahrung.

Solche Daten zu bauen hat eine versteckte Falle. Die Arbeit weist darauf hin, dass beim Synthetisieren von Umgebungen die Schlüsselarbeit, die der Agent leisten sollte, oft vorab erledigt oder vereinfacht wird. Verlangt eine Aufgabe zum Beispiel die Implementierung einer Kernfunktion, die die Umgebung schon liefert, kann die restliche Arbeit auf das Ändern einer Konstante schrumpfen; Erkunden, Implementieren und Prüfen verschwinden, und die Trajektorie lehrt nichts. Längere Aufgaben oder mehr Interaktionsrunden verlängern diese Muster auch nicht automatisch oder stärken ihre Verbindungen. Die Herausforderung besteht darin, bei gleichem Ziel neue Anforderungen zu finden und hinzuzufügen, die über die ursprüngliche Lösung hinausgehen, und dafür zu sorgen, dass die zusätzliche Arbeit auf früheren Urteilen, Handlungen und Ergebnissen aufbaut, damit sich die Muster mit dem Fortschreiten der Aufgabe weiterentwickeln.

TerminalHorizon arbeitet in zwei Stufen, vollautomatisch. In der ersten baut es ausführbare Terminal-Aufgabenumgebungen aus echter Fachtätigkeit. Dann nutzt es unabhängige Ausführung, um beim Bau ausgelassene Schlüsselarbeit zu erkennen, und lenkt mit den gewonnenen Belegen den Neubau, damit die Arbeit, die dem Agenten gehört, in die Aufgabe zurückkehrt. In der zweiten erweitert es angenommene Aufgaben schrittweise unter demselben Ziel und fügt Anforderungen hinzu, die von den Ergebnissen der vorigen Stufe abhängen, was weitere Erkundung und Verbesserung verlangt, sodass sich Verhaltensmuster über Stufen erstrecken. Ein Beispiel im Anhang ist eine Foto-Bibliothek-Synchronisation, bei der sich eine Elternaufgabe in zwei Zweige über drei Generationen teilt und die neuen Anforderungen von einem einseitigen Import zu einer zweiten Synchronisation mit unabhängigen Änderungen und dann zum Umgang mit Stilllegung und Wiederherstellung gehen. Mit dieser Engine bauten die Autoren TerminalHorizon-3K mit 1.535 Aufgabenumgebungen und 2.852 Trainingstrajektorien. Jede Trajektorie hat im Mittel 8,6 Kernmuster aus Erkundung, Aufbau, Fehlerkorrektur und Überprüfung.

Bei den Ergebnissen liefert die überwachte Feinabstimmung von Qwen3.5-27B das Modell TerminalHorizon-27B, das laut Arbeit das Basismodell in allen 12 Benchmarks übertrifft, die Terminalaufgaben, echte Produktionsaufgaben und allgemeines Schlussfolgern abdecken. Bei Terminal-Bench 1.0 (80 Aufgaben), 2.0 und 2.1 (je 89 Aufgaben) erreicht es 55,0 %, 55,8 % und 60,67 %, und die Arbeit nennt Gewinne gegenüber der Basis von 8,7, 14,2 und 13,85 in Prozent. Jede Aufgabe wird dreimal unabhängig ausgeführt und das mittlere pass@1 berichtet, mit drei Stunden je Aufgabe und Daytona- oder E2B-Sandboxes. Bei realen Produktivitätsaufgaben steigen die Erfolgsquote von AutomationBench um 11,7 % und die Teilpunktzahl um 23,3 %, und VitaBench steigt um 11,3 %. Es schlägt außerdem Terminal-Universe-27B, das dieselbe Basis und denselben Rahmen nutzt, um 3,0 % mit weniger als einem Zehntel der Trainingstrajektorien. Das Training nutzt fused AdamW, Lernrate 1e-5, Gewichtsverfall 0,1, Cosinus-Plan und 5 % Aufwärmphase.

Die Arbeit führt außerdem mehrere rekursive Selbstverbesserungsfälle mit je 12 Stunden Forschungsbudget vor, um zu zeigen, dass das Modell nach einer ersten Lösung weiter experimentieren, seine Methode anhand von Rückmeldung verbessern und nützliche Verbesserungen im Endergebnis behalten kann. Einige Vorsichtshinweise beim Lesen. Erstens stammen alle Zahlen aus der Auswertung der Autoren. Wir sahen keine unabhängige Nachprüfung und prüften nicht, ob Trainingsdetails und Auswertungseinstellungen über die Systeme hinweg voll vergleichbar sind. Zweitens sind die Selbstverbesserungsfälle qualitativ, keine statistische Erfolgsquote. Drittens muss die Aussage höherer Werte mit weniger als einem Zehntel der Trajektorien an anderen Basismodellen und Rahmen geprüft werden. Für Teams, die Agenten trainieren, ist der nützlichste Teil vielleicht die Methode: zuerst prüfen, ob eine synthetisierte Umgebung Arbeit enthält, die dem Agenten abgenommen wurde, und die Aufgabe dann unter demselben Ziel wachsen lassen.