SWE Refactor Bench: Können Coding-Agenten Vollständige-Stack-Migrationen über das gesamte Repository hinweg abschließen?

Hintergrund

Moderne Softwaresysteme häufen über Jahrzehnte der Entwicklung technische Schulden an, wodurch Code-Stack-Migrationen sowohl kostspielig als auch stark auf manuelle Arbeit angewiesen sind. Während Coding-Agenten bei Aufgaben wie dem Beheben von Fehlern zunehmend an Leistung gewinnen, stellt sich die Frage, ob sie derartige Migrationen autonom über ein gesamtes Repository hinweg abschließen können. Bestehende Benchmarks können diese nicht beantworten, da sie ausschließlich das Verhalten überprüfen und nicht feststellen, ob eine Migration tatsächlich stattgefunden hat. Genau hier entstehe die von der论文 genannte „Blintheit": Ein Agent könne die ursprüngliche Implementierung einfach in ein neues Verzeichnis kopieren und damit die Tests bestehen, ohne je eine echte Verschiebung vorzunehmen.

Um diese Lücke zu schließen, führen die Autoren SWE Refactor Bench ein, einen Benchmark aus 20 Vollständige-Stack-Migrationsaufgaben über vier Kategorien von technischen Schulden. Kernbeitrag ist es, die Frage nach dem tatsächlichen Zustand der Migration in die Bewertung einzubeziehen und so ein authentischeres Maß für die Ingenieurkompetenz zu schaffen. Die zentrale Neuerung ist ein dreistufiges Evaluationsprotokoll, das Migrationsintegrität und korrektes Verhalten gleichzeitig misst und die Agenten zwingt, den Code korrekt zu verändern und zugleich das Verhalten beizubehalten.

Tiefenanalyse

Das dreistufige Protokoll arbeitet sich schrittweise voran. Die erste Stufe ist der Migrationsaudit, der prüft, ob die Migration tatsächlich stattgefunden hat, und speziell solche Agenten auffängt, die die Verschiebung überspringen und durch Kopieren der Originalimplementierung bestehen. Die zweite Stufe sind die Verhaltentests, die mit einer festen Test-Suite die Korrektheit nach der Verschiebung messen und jeden Ansatz aufdecken, der das ursprüngliche Verhalten bricht. Die dritte Stufe ist die Agentenvalidierung, die sechs unabhängige Coding-Agenten aufruft, um gezielte Tests zu erzeugen und verborgene Regressionen aufzudecken, die die feste Suite nicht erreichen kann.

Die gesamte Bewertung lief über 8 Frontier-Modelle und 26 Modell-Berechnungskonfigurationen, insgesamt 520 Ausführungen, die verschiedene Modellgrößen und Inferenzbudgets abdecken. Training und Bewertung beinhalteten kein neues Modelltraining; im Mittelpunkt stand ein strenger Prozess, der echte von gefälschten Migrationen unterscheidet und Verhalten von Migrationsintegrität für eine feinere Diagnose entkoppelt. Von den 520 Ausführungen erreichten nur 28 (5,4 %) alle drei Stufen, 13 der 20 Aufgaben hatten keine akzeptierte Lösung, und das beste Modell, claude-opus-5, erreichte nur 47,0/100.

Branchenwirkung

Ablationsartige Beobachtungen zeigen, dass Migrationsintegrität und korrektes Verhalten zwei unabhängige Fähigkeiten sind. Eine Minderheit der Ausführungen behielt das Verhalten bei, indem sie die Verschiebung übersprang und im Audit-Stadium aufflog; die meisten Versuche führten die Verschiebung aus, brachten aber das Verhalten um und wurden im Verhaltentest-Stadium abgefangen. Unter den 340 Ausführungen, die den Migrationsaudit bestanden, erreichten 58 % 99 % bei den festen Prüfungen, doch nur 26 % erreichten 100 %, was zeigt, wie schwierig selbst bei tatsächlicher Verschiebung volle Korrektheit ist.

Für die Open-Source-Community und die Industrie bietet SWE Refactor Bench eine strenge, realistische Testplattform. Praxisnahe Migrationen betreffen häufig zugleich Build-Werkzeuge, Sprachversionen und Abhängigkeitsbibliotheken, allesamt bei gleichzeitigem Beibehalten des Verhaltens – ein häufiger industrieller Schmerzpunkt. Mit Migrationsaudit und Multi-Agenten-Validierung unterbindet der Benchmark das opportunistische Kopieren und macht die Ergebnisse glaubwürdiger. Er verschiebt die Coding-Agenten-Evaluation von der reinen Verhaltskorrektheit hin zu umfassender Ingenieurkompetenz, und die scharfen Kategorieunterschiede weisen Forscher auf Schwächen hin, wobei die Sprach-Umschreibung mit 5,4 gegenüber 31,4 bei Build-Werkzeugketten am schwierigsten bleibt.

Ausblick

Die Ergebnisse machen deutlich, dass die aktuellen Frontier-Coding-Agenten noch keine perfekten Vollständige-Stack-Migrationen über ein gesamtes Repository hinweg liefern können. Der Benchmark bietet eine strenge Testplattform zur Entwicklung zuverlässiger, migrationsfähiger Agenten, und die Entkoppelung der Migrationsintegrität vom Verhalten liefert ein Diagnoseframework für gezielte Verbesserungen.

Zukünftige Arbeiten können die katenspezifischen Punktzahlen nutzen, um Forschungen zu priorisieren, namentlich bei der Sprach-Umschreibung, wo die Agenten nur 5,6 erzielten. Indem diese Arbeit das wahre Niveau der Agenten bei langfristigen, repositoryweiten Ingenieuraufgaben offenlegt, zeichnet sie die Richtung für die nächste Generation von Coding-Agenten ab, die zuverlässige Migrationen tragen können.