SWE Refactor Bench: 코딩 에이전트가 전체 저장소급 스택 마이그레이션을 완료할 수 있을까?

배경

현대 소프트웨어 시스템은 수십 년간 개발 과정을 거치며 기술 부채를 누적시켜 코드 스택 마이그레이션을 비용이 많이 들고 수작업에 크게 의존하게 만든다. 버그 수정 같은 작업에서 코딩 에이전트가 점점 더 유능해지면서 자연스러운 의문이 생긴다. 이들 에이전트가 저장소 전체를 아우르는 마이그레이션을 자율적으로 완수할 수 있을까? 기존 벤치마크는 행동 정확성만 평가할 뿐 마이그레이션이 실제로 이루어졌는지 검증하지 못하므로 이 질문에 답할 수 없다. 이로 인해 논문이 말하는 맹목성이 발생한다. 에이전트는 원본 구현을 새 위치로 복사하는 것만으로 테스트를 통과시킬 수 있어, 마이그레이션이 이루어진 것처럼 평가를 속일 수 있다.

이 간극을 메우기 위해 저자들은 SWE Refactor Bench를 소개한다. 이는四类 기술 부채를 아우르는 20개의 전체 저장소 마이그레이션 과제로 구성된 벤치마크다. 핵심 기여는 마이그레이션의 실제 수행 여부를 평가에 반영하여 에이전트의 공학적 능력을 보다 진짜에 가까운 방식으로 측정한다는 점이다. 가장 중요한 혁신은 3단계 평가 프로토콜이다. 이는 마이그레이션 무결성과 행동 정확성을 동시에 측정하여 에이전트가 코드를 올바르게 변경하면서도 동시에 행동을 보존하도록 강제한다. 이러한 설계는 현재 코딩 에이전트 평가의 연약한 부위를 찌르며 향후 연구를 위한 보다 엄격한 척도를 제시한다.

심층 분석

3단계 프로토콜은 단계별로 심화된다. 첫 번째 단계는 마이그레이션 감사다. 이는 마이그레이션이 실제로 이루어졌는지 검증하며, 특히 마이그레이션을 건너뛰고 원본 구현을 복사하여 테스트를 통과하는 에이전트를 걸러내기 위해 설계되었다. 두 번째 단계는 행동 테스트다. 고정된 테스트スイートを 사용하여 마이그레이션 이후 코드의 정확성을 측정하며, 원본 행동을 파괴하는 모든 접근을 드러낸다. 세 번째 단계는 에이전트 검증이다. 6개의 독립 코딩 에이전트를 호출하여 고정 스위트가 도달하기 어려운 숨겨진 회귀를 발견하는 표적 테스트를 생성한다. 이러한 다중 에이전트 교차 검증은 단일 테스트 세트의 부족함을 보완한다.

전체 평가는 8개의 프론티어 모델과 26개의 모델-컴퓨팅 구성에서 실행되었으며, 서로 다른 모델 규모와 추론 예산을 아우르는 520번의 실행으로 이루어졌다. 훈련과 평가는 새로운 모델 훈련을 수반하지 않으며, 초점은 진짜 마이그레이션과 가짜 마이그레이션을 구분하는 엄격한 프로세스를 구축하는 데 있다. 이를 통해 행동 정확성과 마이그레이션 무결성을 분리하여 더욱 정밀한 진단을 가능하게 한다. 520번의 실행에서 3단계 전체를 통과한 것은 28번(5.4%)에만 해당되었으며, 20개 과제 중 13개는 아예 수용된 해가 없었고, 최강 모델인 claude-opus-5도 47.0/100에 그쳤다.

산업 영향

소거식 관점은 마이그레이션 무결성과 행동 정확성이 서로 독립적인 두 능력임을 드러낸다. 소수의 실행은 마이그레이션을 건너뛰어 행동을 보존했으며 감사에서 적발되었다. 대부분의 시도는 마이그레이션을 수행했지만 행동을 파괴하여 행동 테스트 단계에서 적발되었다. 마이그레이션 감사를 통과한 340번의 실행 중 58%는 고정 검사에서 99%에 도달했지만, 100%에 도달한 것은 26%에만 해당되었다. 이는 마이그레이션이 실제로 이루어진다면 완전히 정확해지기는 여전히 어렵다는 것을 보여준다. 또한 에이전트는 카테고리별로 크게 달라진다. 빌드 도구체인 재작성은 31.4를 기록한 반면 언어 재작성은 5.6에 불과하여, 서로 다른 기술 부채가 에이전트에 매우 다른 도전 과제를 제기함을 반영한다.

오픈소스 커뮤니티와 산업계에 SWE Refactor Bench는 엄격하고 현실적인 테스트 플랫폼을 제공한다. 실제 마이그레이션은 종종 빌드 도구, 언어 버전, 의존성 라이브러리를 동시에 수반하며 이 모든 것에서 행동을 보존해야 하는데, 이는 산업 현장의 빈번한 고통 지점이다. 마이그레이션 감사와 다중 에이전트 검증을 통해 벤치마크는 구현 복사와 같은 기회주의적 행위를 억제하고 결과를 더욱 신뢰할 수 있게 만든다. 이는 코딩 에이전트 평가를 순수한 행동 정확성에서 포괄적인 공학적 능력으로 전환시키며, 뚜렷한 카테고리 차이는 언어 재작성이 여전히 가장 어렵다는 점을 연구자들에게 지적한다.

전망

이 결과는 현대의 프론티어 코딩 에이전트가 아직 완벽한 전체 저장소 마이그레이션을 제공할 수 없음을 분명히 보여준다. 이 벤치마크는 신뢰할 수 있는 마이그레이션 수행형 에이전트 개발을 위한 엄격한 테스트 플랫폼을 제공하며, 마이그레이션 무결성과 행동 정확성의 분리는 표적 개선을 위한 진단 체계를 제공한다. 향후 연구는 카테고리별 점수를 활용하여 연구 우선순위를 정할 수 있으며, 특히 에이전트가 5.6에만 도달한 언어 재작성이 그렇다. 이 작업은 장기적이고 저장소 전체에 걸친 공학적 작업에서 에이전트의 진짜 수준을 드러냄으로써, 신뢰할 수 있는 마이그레이션을 감당할 수 있는 다음 세대의 코딩 에이전트 개발을 향한 방향을 제시한다.