MLExpert: KI-Agent für autonomes ML-Engineering

Hintergrund

AI4AI bezeichnet die Idee, dass große Sprachmodelle KI-Systeme selbstständig entwickeln und verbessern. Die Autoren der Studie zu MLExpert sehen darin einen praktischen Weg zur rekursiven Selbstverbesserung. Das konkreteste Testfeld ist das Machine-Learning-Engineering (MLE): Ein Agent liest eine Aufgabe, schreibt Code, trainiert ein Modell, prüft das Ergebnis und passt seinen Plan an, Runde für Runde.

Frühe Systeme stützten sich auf handgebaute Workflows, die lange Experimentreihen steuerten. Neuere Systeme überlassen dem Modell die Führung: Es plant seine Experimente selbst und ändert seine Optimierungsstrategie anhand des Feedbacks aus der Ausführung. Daraus folgt ein Trainingsproblem. Das Feedback eines einzelnen Experiments entsteht aus mehreren früheren Entscheidungen, und ein vollständiger Lauf enthält viele teure Experimente.

Das Training muss deshalb aus sehr langen Trajektorien nützliche Supervision auswählen. Es muss außerdem aus Zwischenergebnissen lernen, statt auf eine einzige Bewertung am Ende des Laufs zu warten. Die Autoren antworten mit einem Post-Training-Verfahren für autonome, langfristige MLE-Optimierung und trainieren damit MLExpert, ein Mixture-of-Experts-Agentenmodell (MoE) mit 35 Mrd. Parametern.

Tiefenanalyse

Das Verfahren besteht aus drei Bausteinen. Erstens verwandelt Kaggle-MLE Factory Probleme im Stil von Kaggle in ausführbare Aufgaben und liefert ein Interaktions-Framework dazu. Das Modell entscheidet selbst, welches Experiment als Nächstes läuft und wie es seinen Ansatz anhand der Ergebnisse überarbeitet. Das Trainingssignal stammt damit aus einer echten, lauffähigen Umgebung und nicht aus statischen Frage-Antwort-Daten. Zweitens überträgt hierarchisches agentisches SFT vorhandene Fähigkeiten auf MLE. Es nutzt ergebnisorientierte Supervision: Trajektorien werden nach ihrem Endergebnis ausgewählt und nicht pauschal nachgeahmt. So wandern die allgemeine Werkzeugnutzung und die Programmierfähigkeit des Basismodells in den MLE-Kontext. Der dritte und wichtigste Baustein ist Windowed Interaction RL (WIRL). Zwischen zwei aufeinanderfolgenden Experimentergebnissen trifft das Modell meist mehrere Entscheidungen, etwa Daten lesen, Merkmale ändern, Parameter abstimmen und Skripte schreiben. WIRL fasst diesen ganzen Abschnitt als ein Ausführungsfenster auf. Jeder Schritt im Fenster teilt dieselbe ergebnisbasierte Belohnung.

Was leistet WIRL beim Training langfristiger MLE-Agenten? Windowed Interaction RL verteilt die Zuordnung der Belohnung auf der Ebene eines einzelnen Experiments. Die Mehrschritt-Entscheidungen zwischen zwei Experimentergebnissen bilden ein Fenster mit gemeinsamer, ergebnisbasierter Belohnung. Das ist leichter zu definieren als eine Belohnung pro Schritt und dichter als eine einzige Belohnung für die gesamte Trajektorie. Weil Experimente teuer sind, ergänzen die Autoren asynchrone Erfassung und Policy-Korrektur. Die Policy lässt sich schon vor dem Ende einer Trajektorie aktualisieren, und zwar mit Fenstern, die bereits abgeschlossen sind. Die Korrektur gleicht die veralteten Daten aus, die durch die asynchrone Erfassung entstehen.

Branchenwirkung

Das Hauptergebnis stammt von MLE-Bench Lite. MLExpert hebt die mittlere Medaillenquote des Basismodells von 37,9 % auf 72,7 %. Das ist nahezu eine Verdopplung. Damit liegt das MoE-Modell mit 35 Mrd. Parametern gleichauf mit größeren Spitzenmodellen wie Kimi-K3 und GLM-5.3. Der Gewinn scheint aus dem auf langfristiges Experimentieren ausgerichteten Post-Training zu kommen und nicht aus zusätzlichen Parametern. Die Studie prüft auch die Übertragbarkeit. MLExpert verbessert sich bei NatureBench Lite, bei der Optimierung von Agenten-Gerüsten und bei der Algorithmenoptimierung. Diese Aufgaben unterscheiden sich von Modellierungswettbewerben im Kaggle-Stil. Alle verlangen jedoch denselben Kreislauf: Lösung vorschlagen, ausführen, Feedback lesen, verbessern. Die Ergebnisse deuten darauf hin, dass das Modell eine übertragbare Optimierungsfähigkeit gelernt hat und keinen auswendig gelernten Benchmark.

Die Zusammenfassung nennt keine Ablationszahlen. Sie sagt nicht, wie viel das hierarchische SFT, WIRL oder die asynchrone Korrektur jeweils beitragen. Wer diese Aufschlüsselung braucht, muss die Experimentkapitel des vollständigen Beitrags lesen. Das Design hat Folgen über MLE hinaus. Eine Trajektorie an Feedback-Knoten zu teilen, ist ein allgemeiner Gedanke. Andere Bereiche mit langsamem Feedback, etwa die Automatisierung wissenschaftlicher Experimente, die Systemabstimmung oder automatisierte Forschung, könnten ihn übernehmen. Für die Praxis gilt: Ein Modell mit 35 Mrd. Parametern, das bei MLE-Aufgaben deutlich größeren Modellen nahekommt, spricht für geringere Inferenzkosten in internen Systemen für automatische Modellierung, Abstimmung und Gerüstoptimierung.

Ausblick

MLExpert ist ein konkretes Puzzleteil im Bild von AI4AI: ein Modell, das besser darin wird, Machine-Learning-Systeme zu verbessern. Die Ergebnisse beruhen auf Benchmark-Aufgaben, und die Zusammenfassung stützt Aussagen nur über diese Benchmarks. Die Medaillenquote auf MLE-Bench Lite ist ein Stellvertreter für echte Ingenieursarbeit. Die Übertragungsgewinne bei NatureBench Lite, Gerüstoptimierung und Algorithmenoptimierung werden als Verbesserungen berichtet, nicht als Gleichstand mit Spitzenmodellen.

Für Folgearbeiten bleiben mehrere Fragen offen. Erstens: Wie viel trägt jede Komponente bei? Das zeigen nur Ablationen. Zweitens: Hält die fensterweise Belohnungszuordnung, wenn Experimente billiger sind oder wenn eine Entscheidung erst viele Fenster später wirkt? Drittens: Wie gut skaliert das Verfahren mit längeren Läufen und größeren Basismodellen?

Stärkere autonome Verbesserung erhöht außerdem die Anforderungen an die Verlässlichkeit der Bewertung, die Kostenkontrolle bei Experimenten und die Sicherheitsgrenzen. Der Beitrag überlässt diese Fragen späterer Forschung. Vorerst bieten WIRL und die Pipeline der Kaggle-MLE Factory eine klare, überprüfbare Vorlage, um Agenten für teure, langfristige Aufgaben zu trainieren.