SWE-Critix: SFT와 강화학습으로 '범용 검증기'를 후속 학습해 코딩 에이전트의 긴 궤적을 성공·실패로 판정하고 이유를 설명, 정확도 57%에서 78%로

논문 2610.13356은 2026년 10월 중순 arXiv에 「SWE-Critix: 코딩 에이전트 궤적 평가를 위한 범용 검증기 후속 학습」이라는 제목으로 올라왔다. 이 문제는 코딩 에이전트가 유능해질수록 뚜렷해진다. 에이전트는 더 이상 코드 조각만 쓰지 않는다. 저장소를 살피고, 파일을 고치고, 명령과 테스트를 실행하며, 피드백을 해석해 다듬는다. 단일 함수 생성에서 저장소 단위의 이슈 해결, 장기 소프트웨어 개발 작업으로 범위가 넓어졌다. 자율성이 높을수록 실행 궤적, 곧 에이전트가 작업을 한 걸음씩 푼 전체 기록을 믿을 만하게 검증할 필요가 커진다. 그런데 현실의 엔드투엔드 작업에는 성공 기준을 정하는 준비된 평가기가 없는 경우가 많다. 에이전트가 작업을 끝냈는지 판정하고 실패하면 이유를 알려 주는 검증기가 필요하다. 어려운 점은 궤적 자체다. 한 궤적에는 사용자 입력, 환경 피드백, 모델 응답이 수백 번 뒤섞여 들어갈 수 있어 한 번의 답변보다 훨씬 검사하기 어렵다. 논문은 LoLBench 작업의 궤적이 53~532턴에 걸치는 예를 든다. 저자들은 기존 연구를 두 축으로 정리한다. 검증이 최종 결과(제출된 패치 등)만 보는지, 과정까지 살펴 바람직하지 않은 중간 행동을 찾는지, 그리고 훈련 없이 만드는지 훈련해서 만드는지다. 훈련 없는 방법은 범용 LLM이나 규칙 기반 판정을 쓰고, 훈련 기반 방법은 전용 비평기를 학습하며, 이는 스칼라 보상만 내는지에 따라 다시 나뉜다. 이 분류에서 훈련 기반이며 과정 중심인 범용 검증은 아직 덜 탐구됐다. SWE-Critix는 그 공백을 메우려 한다. 작업과 실행 궤적이 주어지면 학습된 검증기가 완료 여부를 예측하고 그 판단을 설명하는 자연어 분석도 생성한다.

훈련 파이프라인은 여러 단계다. 데이터는 CoderForge-Preview(초록에는 CodeForge-Preview로 표기)에서 가져온다. 25만 8,000개 궤적(성공 15만 5,000, 실패 10만 3,000)과 1,655개 저장소의 5만 1,000개 이슈를 담은 대형 공개 데이터셋이다. 이 궤적들은 OpenHands 스캐폴드와 Qwen3-Coder-480B로, 실행 가능한 환경을 제공하는 세 작업 출처에서 생성됐다. 저자들은 64K 토큰을 넘거나 제출된 패치가 없는(작업이 미완료인 경우 등) 궤적을 버려 데이터의 16%를 걸러 낸 뒤, 나머지를 SFT, RL, 테스트로 나눴다. SFT에는 성공·실패 궤적이 모두 있는 이슈에서 각각 하나씩 고르고, RL 집합에는 남은 실패 궤적을 모두 넣고 이슈를 돌아가며 성공 궤적을 뽑아 두 클래스가 균형을 이룰 때까지 이어, 가능한 한 다양한 이슈를 덮는다. SFT 단계의 핵심은 추론 사슬의 출처다. 더 강한 교사 모델(GPT-5.5)이 성공과 실패 쌍을 비교해 각자의 절차, 오류 패턴, 성패를 가른 요인을 요약하고, 이 사슬은 건별 판단에 맞게 후처리되어 SFT 샘플로 조립된다. 쌍 비교를 택한 것은 LLM이 개별 판단보다 쌍 판단을 더 잘한다는 기존 결과 때문이다. Qwen3-30B-A3B-Thinking-2507에서 출발해 16개 노드 총 128개의 Huawei Ascend 910B NPU에서 MindSpeed-LLM으로 3에폭, 975회 반복, 약 15시간 훈련했다. RL 단계는 단위 테스트 결과는 있지만 추론 사슬은 없는 나머지 91.3%의 데이터를 쓰며, 보상은 단순한 규칙 기반 결과 보상이다. 예측한 판단이 단위 테스트에서 나온 정답과 일치하면 +1, 아니면 -1이다. VeRL과 GRPO를 쓰고 그룹 크기는 8이며, 8개 노드 총 128개의 Ascend 910C NPU에서 한 에폭이 3,396회 반복으로 약 533시간 걸린다.

평가는 직접적이다. 모델이 성공과 실패 궤적을 가려낼 수 있는지 본다. 테스트 집합은 4만 3,000개가 넘는 긴 궤적이며, 각 모델은 샘플당 한 번만 평가했고 Ascend 910C 16개가 든 노드 하나에서 vLLM Ascend로 서빙했다. 정확도와 함께 양성(성공)과 음성(실패) 클래스의 정밀도, 재현율, F1을 보고한다. 결과는 분명한 단계를 보인다. 기본 Qwen3 MoE 모델은 궤적을 정답으로 예측하는 쪽으로 강하게 치우쳐 모든 부분집합에서 음성 재현율이 거의 0이고, 응답의 9.6%는 요구된 출력 형식을 따르지 않아 판단을 안정적으로 뽑아낼 수 없다. SFT는 두 문제를 모두 완화해 모든 응답이 프롬프트의 형식을 지키고 양성 편향도 크게 줄어든다. 이어 RL로 전체 정확도가 66%에서 78%로 올랐다. SFT는 주로 기본 모델의 강한 양성 편향을 고치고, RL은 양성 재현율을 67%에서 85%로 올려 변별력을 강화하면서 음성 재현율은 크게 희생하지 않았다.

저자들은 부족한 점도 솔직하게 적는다. 첫째, R2E-Gym에서의 성능은 SWE-Rebench와 SWE-Smith보다 눈에 띄게 낮은데, 데이터 양이 적은 것이 한 이유일 수 있다. 둘째, 실패 궤적을 알아보는 능력은 여전히 약해 전체 음성 재현율이 64%에 그친다. 실패 패턴이 더 다양하고 신호가 미묘해서 성공 궤적과 구분하기 어렵다는 뜻이다. 앞으로는 Open-SWE-Traces 같은 다른 출처를 추가하고, 다른 모델과 스캐폴드 조합으로 궤적을 합성하며, 균형 배합뿐 아니라 2:1, 1:2, 4:1 같은 클래스 비율도 연구할 계획이다. 모든 궤적이 하나의 스캐폴드와 하나의 모델에서 생성됐다는 점에 유의해야 한다. 다른 스캐폴드나 모델에서 검증기가 어떻게 동작하는지에 대한 증거는 아직 없다. 우리의 판단은 SWE-Critix가 이유가 달린 판단을 비교적 단순한 두 단계 방법으로 학습할 수 있음을 보였고, 모델과 훈련 코드를 공개해 다른 사람이 재현하고 개선할 수 있게 했다는 데 의의가 있다는 것이다. 한계는 분명하다. 스스로 예비 평가라 부르는 결과이고 각 샘플을 한 번만 측정했으며, 78% 정확도는 여전히 눈에 띄는 오판이 남는다는 뜻이다. 또 실패 궤적에서 더 약한데, 실제 운용에서는 실패를 놓치는 일이 오경보보다 위험한 경우가 많다. 이런 검증기를 자신의 코딩 에이전트 파이프라인에 넣고 싶은 팀은 단위 테스트, 표본 점검, 독립된 평가 환경과 함께 보조 신호로 다루고, 자신의 궤적으로 분류 성능을 측정한 뒤 어디에 둘지 정하는 편이 안전하다.