MLExpert : agent IA pour l'ingénierie du ML autonome

Contexte

L'article sur MLExpert traite de l'AI4AI, c'est-à-dire de grands modèles de langage qui développent et améliorent seuls des systèmes d'IA. Les auteurs y voient une voie concrète vers l'auto-amélioration récursive. L'ingénierie du machine learning (MLE) en est le terrain d'essai le plus net : l'agent lit une tâche, écrit du code, entraîne un modèle, examine le résultat, puis corrige son plan, tour après tour.

Les premiers systèmes s'appuyaient sur des workflows conçus à la main pour orchestrer de longues séquences d'expériences. Les systèmes récents laissent le modèle piloter l'interaction : il planifie ses expériences et adapte sa stratégie d'optimisation selon les retours d'exécution. Cela pose un problème d'entraînement. Le retour d'une expérience résulte de plusieurs décisions antérieures, et une exécution complète contient de nombreuses expériences coûteuses. Il faut donc extraire une supervision utile de trajectoires très longues et apprendre des résultats intermédiaires, au lieu d'attendre un score unique en fin de parcours.

Analyse approfondie

La méthode de post-entraînement proposée comporte trois volets et sert à entraîner MLExpert, un modèle d'agent de 35 milliards de paramètres à mélange d'experts. D'abord, Kaggle-MLE Factory transforme des problèmes de type Kaggle en tâches exécutables et fournit un cadre d'interaction. Le modèle choisit la prochaine expérience et révise son approche d'après les résultats. Le signal d'entraînement provient donc d'un environnement réel, et non de questions-réponses statiques. Ensuite, un SFT agentique hiérarchique transfère les compétences vers la MLE avec une supervision guidée par les résultats : les trajectoires sont sélectionnées selon leur issue, pas imitées en bloc. L'usage d'outils et le codage du modèle de base passent ainsi vers le travail de MLE.

Qu'est-ce que Windowed Interaction RL (WIRL) et pourquoi aide-t-il à entraîner un agent de MLE à long horizon ? WIRL attribue le crédit au niveau d'une expérience. Entre deux résultats d'expérience consécutifs, le modèle prend plusieurs décisions : lire les données, modifier des variables, régler des paramètres, écrire des scripts. WIRL traite ce segment comme une fenêtre d'exécution, et tous les tours de la fenêtre partagent la même récompense fondée sur le résultat. Cette récompense est plus simple à définir qu'un signal tour par tour, et plus dense qu'une récompense unique pour toute la trajectoire.

Les expériences coûtent cher. Les auteurs ajoutent donc une collecte asynchrone et une correction de politique. La politique peut être mise à jour avant la fin de la trajectoire, grâce aux fenêtres déjà terminées. L'étape de correction gère le décalage des données que la collecte asynchrone introduit.

Impact sur l'industrie

Le résultat principal porte sur MLE-Bench Lite. MLExpert fait passer le taux moyen de médailles du modèle de base de 37,9 % à 72,7 %, soit presque le double. Ce modèle à 35 milliards de paramètres se place ainsi au niveau de modèles de pointe plus grands, comme Kimi-K3 et GLM-5.3. Le gain semble venir d'un post-entraînement ciblé sur l'expérimentation à long horizon, et non d'un surcroît de paramètres.

L'article teste aussi le transfert. MLExpert progresse sur NatureBench Lite, sur l'optimisation d'échafaudages d'agents et sur l'optimisation d'algorithmes. Ces tâches diffèrent des concours de modélisation de type Kaggle, mais elles reposent sur la même boucle : proposer une solution, l'exécuter, lire le retour, puis l'améliorer. Les résultats suggèrent que le modèle a acquis une compétence d'optimisation transférable, et non mémorisé un classement.

Le résumé ne donne aucun chiffre d'ablation. Il n'indique pas ce que apportent séparément le SFT hiérarchique, WIRL et la correction asynchrone. Pour ces détails, il faut lire les sections expérimentales de l'article complet. Pour les praticiens, un modèle de 35 milliards de paramètres proche de modèles bien plus grands sur des tâches de MLE laisse entrevoir un coût d'inférence réduit pour des systèmes internes de modélisation automatique, de réglage et d'optimisation d'échafaudages.

Perspectives

MLExpert est une pièce concrète du puzzle AI4AI : un modèle plus apte à améliorer des systèmes de machine learning. Ces résultats portent sur des bancs d'essai, et le résumé n'autorise de conclusions que sur eux. Le taux de médailles sur MLE-Bench Lite reste un indicateur indirect du travail d'ingénierie réel. Les gains sur NatureBench Lite, l'optimisation d'échafaudages et l'optimisation d'algorithmes sont présentés comme des améliorations, pas comme une égalité avec les modèles de pointe.

Plusieurs questions restent ouvertes. Quelle part revient à chaque composant ? Seules des ablations le diront. L'attribution du crédit par fenêtre tient-elle quand les expériences sont moins chères, ou quand une décision influence des résultats observés plusieurs fenêtres plus tard ? La méthode passe-t-elle à l'échelle avec des exécutions plus longues et des modèles de base plus grands ? Une capacité d'auto-amélioration plus forte exige aussi une évaluation plus fiable, un contrôle des coûts d'expérimentation et des garde-fous de sécurité, que l'article laisse à de futurs travaux. En attendant, WIRL et le pipeline Kaggle-MLE Factory offrent un modèle clair et testable pour entraîner des agents sur des tâches longues et coûteuses.