SWE Refactor Bench : Les agents de codage peuvent-ils réaliser des migrations de pile complètes sur tout un dépôt ?

Contexte

Les systèmes logiciels modernes accumulent une dette technique au fil des décennies de développement, rendant les migrations de pile coûteuses et fortement dépendantes du travail manuel. À mesure que les agents de codage deviennent plus performants sur des tâches comme la correction de bogues, une question naturelle surgit : peuvent-ils réaliser de manière autonome des migrations englobant un dépôt entier ? Les benchmarks existants ne peuvent y répondre, car ils n'évaluent que la correction comportementale sans vérifier si la migration s'est réellement produite. Cette « non-visualité » permet à un agent de copier simplement l'implémentation originale vers un nouvel emplacement pour faire passer les tests, trompant ainsi l'évaluation.

Pour combler ce vide, les auteurs proposent SWE Refactor Bench, un benchmark composé de 20 tâches de migration sur tout un dépôt couvrant quatre catégories de dette technique. La contribution centrale réside dans l'intégration de la réalité de la migration à l'évaluation, offrant une mesure plus authentique de la capacité d'ingénierie de l'agent. L'innovation majeure est un protocole d'évaluation en trois phases mesurant simultanément l'intégrité de la migration et la correction comportementale, contraignant les agents à la fois à modifier correctement le code et à préserver le comportement.

Analyse approfondie

Le protocole à trois phases s'avance couche par couche. La première étape, l'audit de migration, vérifie si la migration s'est réellement produite, visant spécifiquement à intercepter les agents qui sautent la migration et font passer les tests en copiant l'implémentation d'origine. La deuxième étape, les tests comportementaux, utilise une suite de tests fixe pour mesurer la correction post-migration, exposant toute approche brisant le comportement initial. La troisième étape, la validation d'agent, fait appel à six agents de codage indépendants pour générer des tests ciblés révélant les régressions cachées que la suite fixe ne peut atteindre.

L'évaluation complète s'est déroulée sur 8 modèles de pointe et 26 configurations modèle-calcul, totalisant 520 exécutions couvrant différentes échelles de modèles et budgets d'inférence. L'entraînement et l'évaluation n'impliquaient aucun nouveau entraînement de modèle ; l'accent portait sur la construction d'un processus rigoureux distinguant les vraies des fausses migrations. Sur ces 520 exécutions, seules 28 (5,4 %) ont réussi les trois phases, signifiant que les agents complétant une migration genuine tout en préservant le comportement sont extrêmement rares. Sur les 20 tâches, 13 n'avaient aucune solution acceptée, et le meilleur modèle, claude-opus-5, n'a obtenu que 47,0/100.

Impact sur l'industrie

Des observations de type ablation révèlent que l'intégrité de la migration et la correction comportementale sont deux capacités indépendantes. Une minorité d'exécutions a préservé le comportement en sautant la migration, interceptée à l'étape d'audit ; la plupart des tentatives ont réalisé la migration mais brisé le comportement, interceptées à l'étape de test. Parmi les 340 exécutions ayant passé l'audit, 58 % ont atteint 99 % aux vérifications fixes, mais seulement 26 % ont atteint 100 %, montrant que même quand la migration survient, la correction complète reste difficile.

Pour la communauté open source et l'industrie, SWE Refactor Bench offre une plateforme de test rigoureuse et réaliste. Les migrations réelles impliquent souvent simultanément outils de build, versions de langage et bibliothèques de dépendances, tout en préservant le comportement — une douleur industrielle fréquente. Grâce à l'audit de migration et à la validation multi-agent, le benchmark freine le copiage opportuniste et rend les résultats plus crédibles. Il fait basculer l'évaluation des agents du simple comportement vers une capacité d'ingénierie complète.

Perspectives

Les résultats démontrent clairement que les agents de codage de pointe d'aujourd'hui ne peuvent encore livrer des migrations complètes sur tout un dépôt sans défaut. Le benchmark fournit une plateforme de test rigoureuse pour développer des agents fiables, et le découplage de l'intégrité de la migration d'avec la correction comportementale offre un cadre diagnostique pour une amélioration ciblée.

Les travaux futurs peuvent utiliser les scores spécifiques à chaque catégorie pour prioriser la recherche, particulièrement sur les réécritures de langage où les agents n'ont obtenu que 5,6. En exposant le niveau réel des agents sur des tâches d'ingénierie de longue haleine englobant tout un dépôt, ce travail trace la direction de la prochaine génération d'agents de codage capables de porter des migrations fiables.