장기 터미널 지능을 위한 에이전트 데이터 확장: TerminalHorizon은 약 3천 개의 긴 궤적으로 27B 모델을 미세조정해 12개 벤치마크 전부에서 향상
알리바바 AMAP 인턴 팀의 이 논문은 장기 터미널 에이전트를 위한 완전 자동 데이터 합성 엔진 TerminalHorizon을 제안한다. 먼저 독립 실행으로 환경 구성 단계에서 이미 대신 처리된 핵심 작업을 찾고, 같은 목표 아래 과제를 단계적으로 확장한다. 1,535개 과제 환경과 2,852개 궤적으로 Qwen3.5-27B를 지도 미세조정해 Terminal-Bench 1.0, 2.0, 2.1에서 55.0%, 55.8%, 60.67%를 얻었다. 결과는 저자의 실험이며 독립 재현은 없다.
터미널 에이전트는 명령줄 환경에서 스스로 일하는 에이전트입니다. 파일을 읽고, 명령을 실행하고, 코드를 고치고, 출력을 보고 다음 행동을 정합니다. 이런 에이전트가 로컬 작업에서 실제 전문 과제로 나아갈수록 훈련 데이터의 질이 병목이 됩니다. 알리바바 AMAP 인턴 팀의 논문 2610.13166은 제목이 “장기 터미널 지능을 위한 에이전트 데이터 확장”입니다. 핵심 견해는 짧은 궤적은 에이전트에게 명령을 치고 도구를 부르는 법은 가르쳐도, 하나의 온전한 문제 해결 과정 안에서 증거를 모으고, 판단하고, 피드백에 맞춰 전략을 계속 조정하고, 중간 결과를 최종 산출물로 바꾸는 법은 가르치지 못한다는 것입니다. 질 좋은 긴 궤적은 이런 행동 패턴과 그 연결을 하나의 과정 안에 담아 에이전트에게 더 풍부한 경험을 줍니다. 이런 데이터를 만드는 데는 눈에 잘 띄지 않는 함정이 있습니다. 논문은 환경을 합성할 때 에이전트가 해야 할 핵심 작업이 미리 끝나거나 단순화되는 일이 흔하다고 지적합니다. 예컨대 과제가 핵심 함수의 구현을 요구하는데 환경이 이미 그 함수를 제공한다면 남은 일은 상수 하나를 바꾸는 것으로 줄 수 있고, 그러면 탐색, 구현, 검증이 사라져 그 궤적은 가르칠 것이 없어집니다. 과제를 더 길게 하거나 상호작용 횟수를 늘린다고 해서 이런 패턴이 저절로 이어지거나 연결이 강해지는 것도 아닙니다. 과제는 같은 목표를 유지하면서 원래 해법을 넘어서는 새 요구를 찾아 더하고, 추가된 작업이 앞선 판단, 행동, 결과 위에 쌓이게 해서 과제가 진행될수록 패턴이 계속 발전하게 하는 것입니다. TerminalHorizon은 완전 자동의 두 단계로 동작합니다. 첫째 단계에서는 실제 전문 업무로부터 실행 가능한 터미널 과제 환경을 만듭니다. 그런 다음 독립 실행으로 구성 과정에서 빠진 핵심 작업을 찾아내고 얻은 증거로 환경을 다시 만들어 에이전트의 몫인 작업이 과제로 돌아오게 합니다. 둘째 단계에서는 받아들여진 과제를 같은 목표 아래에서 단계적으로 확장하며 앞 단계 결과에 의존하는 새 요구를 더해 추가 탐색과 개선을 요구하고, 행동 패턴이 단계를 가로질러 이어지게 합니다. 부록에는 사진 라이브러리 동기화 과제 예가 있는데 하나의 부모 과제에서 3세대짜리 두 갈래가 나오고 새 요구가 “일방향 가져오기”에서 “독립 편집이 있는 두 번째 동기화”로, 다시 “폐기와 복원 처리”로 옮겨 갑니다. 이 엔진으로 저자들은 TerminalHorizon-3K를 만들었고 1,535개 과제 환경과 2,852개 훈련 궤적이 있으며 궤적당 평균 8.6개의 핵심 패턴이 탐색, 구축, 오류 수정, 검증에 걸쳐 있습니다.
결과를 보면 Qwen3.5-27B를 지도 미세조정한 TerminalHorizon-27B는 논문에 따르면 터미널 과제, 실제 업무 환경, 일반 추론을 아우르는 12개 벤치마크 모두에서 기반 모델을 앞섭니다. Terminal-Bench 1.0(80개 과제), 2.0과 2.1(각 89개 과제)에서 55.0%, 55.8%, 60.67%이며 논문은 기반 대비 향상을 백분율로 8.7, 14.2, 13.85라고 합니다. 과제마다 독립적으로 세 번 실행해 평균 pass@1을 보고하고 과제당 세 시간, 샌드박스는 Daytona 또는 E2B입니다. 실제 생산성 과제에서는 AutomationBench 통과율이 11.7%, 부분 점수가 23.3%, VitaBench가 11.3% 올랐습니다. 같은 기반과 틀을 쓰는 Terminal-Universe-27B를 10분의 1 미만의 훈련 궤적으로 3.0% 앞섰다고도 합니다. 훈련은 fused AdamW, 학습률 1e-5, 가중치 감쇠 0.1, 코사인 스케줄, 5% 워밍업입니다.
논문은 또한 각각 12시간 연구 예산을 가진 재귀적 자기 개선 사례 몇 가지를 보여 주며, 모델이 첫 해법 뒤에도 실험을 이어 가고, 피드백으로 방법을 개선하고, 유효한 개선을 최종 산출물에 남길 수 있다고 합니다. 읽을 때 조심할 점이 몇 가지 있습니다. 첫째, 모든 수치는 저자의 자체 평가에서 나왔습니다. 독립 재현은 보지 못했고, 훈련 세부 사항과 평가 설정이 비교 대상과 완전히 같은 조건인지도 확인하지 않았습니다. 둘째, 자기 개선 사례는 정성적이며 통계적 성공률이 아닙니다. 셋째, 10분의 1 미만의 궤적으로 더 높은 점수를 얻었다는 주장은 다른 기반 모델과 틀에서도 검증이 필요합니다. 에이전트를 훈련하는 팀에게 가장 쓸모 있는 것은 아마 방법론일 것입니다. 합성 환경에 에이전트 몫의 일이 이미 끝나 있지는 않은지 먼저 확인하고, 같은 목표 아래 과제를 키워 나가는 방식입니다.
Sources
FAQ
논문은 어떤 문제를 다루나요?
터미널 에이전트는 로컬 작업에서 실제 전문 과제로 나아가고 있습니다. 짧은 궤적은 명령과 도구 호출을 보여 주지만, 에이전트가 탐색으로 증거를 모으고, 그에 따라 판단하고, 피드백에 맞춰 전략을 계속 조정하고, 중간 결과를 최종 산출물로 바꾸는 과정은 보여 주지 못합니다. 더 나쁜 것은 환경 합성이 에이전트가 해야 할 핵심 작업을 미리 끝내거나 단순화할 수 있다는 점입니다. 과제가 환경이 이미 제공하는 핵심 함수의 구현을 요구하면 남은 일이 상수 하나를 바꾸는 것으로 줄 수 있고, 탐색, 구현, 검증이 사라집니다.
TerminalHorizon의 방법은 무엇인가요?
두 단계입니다. 첫째 단계는 실제 전문 업무에서 실행 가능한 터미널 과제 환경을 만들고, 독립 실행으로 구성 과정에서 빠진 핵심 작업을 찾아 그 증거로 환경을 재구성합니다. 둘째 단계는 받아들여진 과제를 같은 목표 아래에서 확장하며, 앞선 결과 위에 쌓이고 추가 탐색과 개선이 필요한 새 요구를 더해 단계 간 행동 패턴이 이어지게 합니다. 결과가 TerminalHorizon-3K로 1,535개 과제 환경과 2,852개 훈련 궤적이며 궤적당 평균 8.6개의 핵심 패턴이 있습니다.
효과는 어떻고 유보할 점은 무엇인가요?
Qwen3.5-27B를 지도 미세조정한 TerminalHorizon-27B는 논문에 따르면 12개 벤치마크 모두에서 기반 모델을 앞섭니다. Terminal-Bench 1.0, 2.0, 2.1에서 55.0%, 55.8%, 60.67%를 얻었고 기반 대비 향상은 논문 표기 백분율로 8.7, 14.2, 13.85입니다. AutomationBench는 통과율이 11.7%, 부분 점수가 23.3%, VitaBench는 11.3% 올랐습니다. 같은 기반과 틀을 쓰는 Terminal-Universe-27B를 10분의 1 미만의 궤적으로 3.0% 앞섰다고도 합니다. 모두 저자의 평가이며 독립 재현은 보지 못했고 12시간 자기 개선 사례는 정성적입니다.