AI4AI-Bench: Bewertung rekursiver Selbstverbesserung durch Agenten, die Trainingsalgorithmen entwerfen

Hintergrund

Die rekursive Selbstverbesserung gehört zu den zentralen Fragen an der Spitze von KI-Sicherheit und -Fähigkeit: Sie verlangt von einem KI-System, denjenigen Prozess zu verbessern, der selbst KI-Systeme erzeugt, damit die nächste Generation den Gewinn direkt erbt. Genau dieser Prozess ist ein Trainingsalgorithmus. Eine bessere Ziel- oder Aktualisierungsfunktion hebt das Rechen-zu-Fähigkeits-Austauschverhältnis bei jeder Ausführung an – einschließlich jener Ausführung, die den nächsten Agenten selbst produziert. Ob rekursive Selbstverbesserung letztlich machbar ist, hängt daher davon ab, ob Agenten überhaupt Trainingsalgorithmen entwerfen können.

Die neue Arbeit AI4AI-Bench holt diese Fähigkeit aus vagen Diskussionen auf eine präzise messbare Skala. Ihre Autoren argumentieren, dass bestehende Bewertungssuites diese Fähigkeit nicht isoliert erfassen. Sie gewinnen entweder durch Datensammlung oder durch Einstellung von Hyperparametern und unterscheiden so nicht zwischen der Änderung der Execution und der Änderung der Lernmethode eines Modells. Diese Vermischung verschleiert gerade jene Fähigkeit, auf der rekursive Selbstverbesserung beruht.

Tiefenanalyse

Um diese Lücke zu schließen, bauten die Autoren AI4AI-Bench aus zehn eingefrorenen Forschungs-Repositories, die zehn Familien von Trainingsalgorithmen abdecken. Das Einfrieren der Repositories ist die entscheidende Designentscheidung: Es hält alles außer dem Trainingsalgorithmus konstant, sodass die Punkte den Algorithmus selbst widerspiegeln und nicht zufällige Unterschiede im Setup. In jeder Aufgabe erhält ein Agent vier Stunden auf einer einzelnen B300-GPU, um den Trainingsalgorithmus umzuschreiben. Der modifizierte Code wird dann bis zu zwölf Stunden von Grund auf neu ausgeführt und von einem unified scorer bewertet, der vor dem Agenten versteckt ist; verglichen wird er mit dem Originalalgorithmus desselben Repositories durch dieselbe Pipeline.

Das technisch anspruchsvollste Element ist die metrikübergreifende Normalisierung. Da die zehn Aufgaben inkompatible Familien und Metriken verwenden, lassen sich ihre Rohwerte nicht addieren oder direkt vergleichen. Jede Aufgabe wird daher auf eine gemeinsame Skala abgebildet: Null steht für ein无信息量的 Modell, 0,1 für den Algorithmus, der mit dem Repository mitgeliefert wird, und 1,0 für die optimale Lösung der Aufgabe. So wird sofort sichtbar, wie weit jeder Agent von dem bestmöglichen Ergebnis entfernt ist.

Branchenwirkung

Zerlegt man, wo sich diese Distanz verteilt, zeigt sich: Die meisten Einreichungen änderten nie die Lernweise von Modellen, wahrend die wenigen, die es taten, im Durchschnitt 0,226 gegen 0,126 für den Rest erreichten. Die Lücke entstand also nicht davon, wie viel Code ein Agent schrieb, sondern davon, ob er bereit war, den Trainingsalgorithmus selbst zu berühren. Ein Reasoning-Einsatz-Experiment schärfte diesen Befund: Mehr Rechenbudget kaufte vor allem den Willen zur Änderung und hob den Anteil der Einreichungen, die die Lernmethode veränderten, von acht auf 64 Prozent, während der Durchschnitt von 0,094 auf 0,196 stieg.

Dies verschiebt die Debatte von unzureichender Agenten-Fähigkeit hin zu unzureichendem Versuchswillen und deutet an, dass im Kontext rekursive Selbstverbesserung Motivation und Mut mehr zählen als reine Technik. Für die Open-Source-Community bieten die eingefrorenen Repositories in Kombination mit dem versteckten Bewerter ein reproduzierbares Bewertungsparadigma, an dem jedes neue System auf derselben Skala geprüft werden kann. Die Autoren haben die Aufgabe-Suite, den Bewerter und alle bewerteten Einreichungen als Open Source veröffentlicht.

Ausblick

Für industrielle Teams ist die Arbeit eine Erinnerung daran, dass der Trainingsalgorithmus selbst der zentrale Hebel des Rechen-zu-Fähigkeits-Austauschverhältnisses ist, und dass das Verbessern dieses Algorithmus durch Agenten zugleich der schwierigste aber hebelreichste Schritt ist. Für die folgende Forschung weist das Muster der意愿 vor der Technik in die Richtung, stärkeren Trainingsalgorithmus-Agenten zu entwerfen – etwa durch mehr Reasoning-Einsatz und indem Agenten ermutigt werden, sich wirklich mit dem Trainingsalgorithmus auseinanderzusetzen, statt lediglich Code-Generierungsfähigkeit aufzuhäufen.

Letztlich ist AI4AI-Bench mehr als ein Benchmark: Es ist eine quantifizierbare Fragestellung daran, ob KI sich selbst verbessern kann, und sie etabliert eine Skala, die an einer der folgenreichsten Fragen der Zukunft wiederholt neu kalibriert werden kann.