SPADE: 대규모 모델이 환경 디자이너와 추론 에이전트를 동시에 연기하는 자기대국 학습
본고는 언어 에이전트의 지속적인 자기개선을 위해 지속적으로 확장되는 다양하고 적응적인 목표가 필요하며, 손으로 선정한 것, 정적으로 합성된 것, 고정된 검증기를 사용한 것을 포함한 기존 훈련 환경 풀은 학습자가 확장되어도 목표 분포를 고정된 채로 유지한다는 문제를 다룬다. 이를 위해 저자들은 SPADE(Adaptive Synthetic Executable Environments에서의 자기대국)를 제안한다. 이는 자기대국 강화학습 프레임워크로, 단일 대규모 언어모델이 동시에 두 역할을 연기한다. 하나는 환경 디자이너로, OpenAI-Gym 스타일의 reset()/step() 인터페이스를 사용하여 실행 가능한 코드로 완전하고 긴 수명의 훈련 환경을 작성한다. 다른 하나는 그 안에서 행동을 학습하는 추론 에이전트이다. 둘 모두 상태를 가진 다중 턴 환경이므로 단일 인터페이스로 추론 문제와 다단계 에이전트 도구 호출을 모두 커버할 수 있다. 추론 에이전트의 후회값은 특권 힌트가 있을 때와 없을 때의 보상 차이에서 추정되며, 환경 디자이너는 이를 통해 작업의 실행 가능성을 유지하면서 에이전트 능력의 끝에 목표를 맞추는 것을 학습한다. 300억 파라미터 모델로 확장할 때 SPADE는 8개의 수학·과학·코드·추론 벤치마크에서 가장 강한 고정 환경 기준선보다 평균 5.3 향상되고, 도구 호출 상황에서 다중 턴 BFCL-v4에서는 5.7, ACEBench-Agent에서는 13.9 향상되며, 게임 상황에서는 모델 규모가 커질 우위가 커진다.
배경
언어 에이전트의 지속적인 자기개선은 지속적으로 확장되고 다양하며 적응적인 목표에 달려 있다. 그러나 기존 훈련 환경 풀은 학습자가 성장해도 목표 분포를 고정된 채로 유지한다. 손으로 선정한 환경, 정적으로 합성된 환경, 고정된 검증기를 활용한 환경 모두에서 동일한 문제가 발생하며, 모델이 이를 초과해 성장하면 훈련은 도전을 잃고 정체된다.
이러한 병목을 해결하기 위해 저자들은 SPADE를 제안한다. 자기대국 적응형 합성 실행 환경이라는 이름의 이 프레임워크는 단일 대규모 언어모델이 환경 디자이너와 추론 에이전트라는 두 역할을 동시에 연기하도록 한다. 디자이너는 실행 가능한 코드로 완전하고 긴 수명의 훈련 환경을 작성하고, 에이전트는 그 안에서 행동을 학습하며 양쪽은 함께 진화한다.
핵심 개념의 전환은 환경 설계 자체를 고정된 수공 단계가 아닌 학습 가능한 구성요소로 취급한다는 점이다. 이로써 개방적 자기개선은 이상에서 구체적인 메커니즘으로 나아간다. 논문은 추론 문제와 다단계 도구 호출을 모두 커버하는 통합 인터페이스, 절대 보상而非 후회 신호의 사용, 설계 성공에 필요한 구성요소를 규명한 실험 등을 기여로 제시한다.
심층 분석
SPADE는 하나의 대규모 언어모델을 두 개의 협력적 역할로 배치한다. 환경 디자이너는 OpenAI-Gym 스타일의 reset()과 step() 인터페이스를 따라 실행 가능한 코드로 훈련 환경을 구축하며, 이를 통해 환경을 프로그래밍적으로 초기화하고 진행할 수 있다. 각 환경은 상태 전이 규칙, 보상 함수, 검증 코드를 포함한 상태를 가진 다중 턴 설정이다.
에이전트의 학습 신호는 후회에서 나온다. 특권 힌트가 있을 때와 없을 때의 보상 차이로 추정되는 이 신호를 최적화하면서 디자이너는 에이전트 능력의 끝에 맞춰 작업을 도전적이면서도 실행 가능하게 유지한다. 쉬운 성공을 보상하기보다 에이전트가 고심하는 구역을 겨냥하여 지속적인 진전을 강제한다.
실험은 성공에 필수적인 두 구성요소를 드러낸다. 대형 pré트레인 코퍼스에서 샘플링된 문서를 기반으로 디자이너를 grounding하면 환경 구축에 의미론적 선험적 지식과 배경지식이 제공된다. 누적된 환경 메모리는 디자이너가 이미 생성한 내용을 기억하게 만들어 반복을 피하고 목표 분포를 전진시킨다. 이 둘이 함께 자기대국 과정을 안정적이고 효과적으로 유지하며, 아블레이션 실험은 이 중 하나를 제거하면 결과가 열화됨을 확인한다.
산업 영향
수학, 과학, 코드, 추론을 아우르는 여덟 개의 홀드아웃 벤치마크에서 SPADE는 가장 강한 고정 환경 기준선보다 평균 5.3점 향상된다. 도구 호출 상황에서는 성장이 더 크다. 다중 턴 BFCL-v4에서 5.7점, ACEBench-Agent에서 13.9점 상승하며, 추론과 외부 행동을 결합한 다단계 에이전트 작업에 강력한 이점이 있음을 보여준다.
하나의 통합 인터페이스가 추론과 도구 사용을 모두 서비스하므로 동일한 프레임워크로 수학 문제 해결부터 에이전트 운영까지 광범위한 응용을 지원할 수 있다. 오픈소스 커뮤니티에게는 단일 모델이 환경 생성과 행동 학습을 동시에 처리하게 함으로써 적응형 훈련 환경 구축의 장벽을 낮추고 재사용 가능한 패턴을 제공한다.
논문이 grounding과 누적 메모리를 핵심 구성요소로 규명한 것은 연구자들에게 다양하고 적응적인 목표 분포를 유지하는 명확한 레시피를 제공한다. 여러 도메인에 걸쳐 일관되게 나타나는 향상은 고정 환경이 부과하는 성능 천장을 돌파할 수 있음을 시사한다.
전망
저자들은 모델을 300억 파라미터 규모로 확장하고 게임 상황에서 성능을 관측했는데, 여기서 가장 강한 기준선보다 우위가 모델 규모가 커질수록 성장한다. 이렇게 넓어지는 격은 이 접근법이 확장 가능함을 강력히 증명하며, 더 큰 에이전트가 적응형 환경으로부터 불균형적으로 이득을 얻는다.
이러한 발견은 훈련 환경이 미리 고정되기보다 이를 사용하는 모델과 함께 진화하는 미래로 향한다. grounding과 메모리에 의해 뒷받침되는 학습 가능한 설계 패러내는 무한수공 큐레이션 없이 지속적인 자기개선을 위한 경로를 제공한다. 능력이 성장하면서 환경 디자이너는 에이전트가 할 수 있는 것의 최전선에서 지속적으로 목표를 재생산하며 발맞춘다.
이 패턴이 테스트된 벤치마크를 넘어 일반화될지는 여전히 열린 질문이지만, 지금까지의 결과는 적응적이고 자기대국적인 환경이 유망한 방향임을 나타낸다. 규모와 함께 성장하는 우위는 추가 확장이 가능함을 시사하며 언어 에이전트를 보다 자율적이고 지속적인 학습으로 이끈다.