AI4AI-Bench : Évaluer l'amélioration de soi-récursive en demandant aux agents de concevoir des algorithmes de formation

Contexte

L'amélioration de soi-récursive (RSI) constitue l'une des questions les plus centrales à la frontière de la sécurité et des capacités de l'IA : elle exige qu'un système soit capable d'améliorer le processus même qui produit des systèmes d'IA, afin que la génération suivante hérite directement du gain. Ce processus est, en son cœur, un algorithme de formation. Une meilleure fonction d'objectif ou de meilleures règles de mise à jour améliorent le taux d'échange entre calcul et capacité à chaque exécution, y compris celle qui génère le prochain agent. La faisabilité de la RSI dépend donc, in fine, de la capacité des agents à concevoir des algorithmes de formation.

Le nouveau document AI4AI-Bench sort cette capacité du débat vague pour la poser sur une échelle précisément mesurable. Ses auteurs soutiennent que les suites d'évaluation existantes ne peuvent pas isoler ce savoir-faire : elles gagnent soit en collectant davantage de données, soit en réglant les hyperparamètres, et ne distinguent donc pas le fait de changer comment une exécution s'exécute de celui de changer comment un modèle apprend. Cette confusion masque précisément la capacité sur laquelle la RSI repose.

Analyse approfondie

Pour combler ce vide, les auteurs ont construit AI4AI-Bench à partir de dix dépôts de recherche gelés couvrant dix familles d'algorithmes de formation. Le gel des dépôts est le choix de conception crucial : il maintient constant tout sauf l'algorithme de formation, de sorte que les scores reflètent l'algorithme lui-même plutôt que des différences accidentelles de configuration. Dans chaque tâche, un agent dispose de quatre heures sur un seul GPU B300 pour réécrire l'algorithme de formation. Le code modifié est ensuite réexécuté à zéro jusqu'à douze heures et noté par un noteur unifié caché à l'agent, comparé à l'algorithme original du dépôt parcourant le même pipeline.

L'élément le plus sophistiqué techniquement est la normalisation inter-métrique. Les dix tâches utilisant des familles et des métriques incompatibles, leurs résultats bruts ne peuvent être additionnés ni comparés directement. Chaque tâche est donc projetée sur une échelle partagée où zéro représente un modèle sans information, 0,1 l'algorithme fourni avec le dépôt, et 1,0 la solution optimale de la tâche. Cela rend immédiatement visible la distance séparant chaque agent du meilleur résultat atteignable.

Le pipeline d'évaluation est strictement contraint pour ne laisser que l'algorithme de formation comme seule variable. Le noteur reste caché, le code se réexécute à zéro pour exclure tout état caché ou historique, et les expériences pilotes utilisent l'algorithme original. Sur vingt-neuf configurations, six systèmes et les dix tâches, le score moyen était de 0,166, le système le plus fort atteignant 0,250. Ce nombre est éloquent : même le meilleur système n'a parcouru que moins d'un cinquième de la distance entre l'algorithme existant et l'optimum.

Impact sur l'industrie

En décomposant l'emploi de cette distance, la plupart des soumissions n'ont jamais changé comment les modèles apprennent, tandis que les rares qui l'ont fait ont obtenu 0,226 contre 0,126 pour le reste. L'écart ne venait donc pas de la quantité de code produite, mais de la volonté de toucher à l'algorithme de formation lui-même. Une expérience sur l'effort de raisonnement a affiné cette conclusion : augmenter le budget d'raisonnement a surtout acheté la volonté de changer, faisant passer la part des soumissions modifiant la méthode d'apprentissage de 8 à 64 pour cent et relevant le score moyen de 0,094 à 0,196.

Cela reformule le débat, du défaut de capacité au défaut de volonté d'essayer, suggérant qu'en contexte récursive la motivation et le courage comptent plus que la technique brute. Pour la communauté open source, les dépôts gelés associés à un noteur caché offrent un paradigme d'évaluation reproductible contre lequel tout nouveau système peut être testé sur la même échelle. Les auteurs ont ouvert en source libre la suite de tâches, l'évaluateur et chaque soumission notée, afin que les mesures soient répétées et comparées à mesure que ces systèmes évoluent.

Perspectives

Pour les équipes industrielles, ce travail rappelle que l'algorithme de formation lui-même est le levier clé du taux d'échange entre calcul et capacité, et qu'en charger les agents de l'améliorer constitue à la fois l'étape la plus ardue et celle qui offre le plus de levier. Pour la recherche ultérieure, le pattern où la volonté précède la technique oriente vers la conception d'agents d'algorithmes de formation plus puissants, peut-être en stimulant l'effort de raisonnement et en encourageant les agents à s'attaquer réellement à l'algorithme de formation plutôt qu'à empiler de la génération de code.

Enfin, AI4AI-Bench est bien plus qu'un benchmark : c'est une inquiry quantifiable sur la capacité de l'IA à s'améliorer elle-même, et elle établit une règle qui peut être constamment recalibrée face à l'une des questions les plus déterminantes à venir.