BATON: 지능형 하위 작업 탐색 및 전환 인식 메모리를 통한 장기 로봇 조작 구현

배경

로봇 조작 분야에서 장기 작업(Long-horizon manipulation)은 최종 목표를 달성하기 위해 일련의 복잡하고 접촉 집약적인 기술들을 정교한 순서에 따라 실행해야 하는 고난도 과제입니다. 최근 Vision-Language-Action (VLA) 모델의 발전으로 단일 기술을 수행하는 능력은 비약적으로 향상되었으나, 여러 단계가 얽힌 긴 사슬 형태의 작업을 처리할 때는 여전히 한계를 드러내고 있습니다. 이러한 실패의 주요 원인은 크게 두 가지로 요약됩니다. 첫째는 오차 누적 효과로, 작업 초기 단계에서 발생한 미세한 편차가 단계가 거듭될수록 증폭되어 결국 전체 작업의 실패로 이어지는 현상입니다. 둘째는 하위 작업 간의 단절 문제입니다. 즉, 이전 작업이 끝난 상태가 다음 작업이 시작되기 위해 필요한 초기 조건을 충족하지 못해 흐름이 끊기는 것입니다.

기존의 주요 해결 방식은 대규모 언어 모델(LLM)을 상위 수준의 계획자로 도입하여 언어적 계획을 세우고, 실제 접촉이 필요한 단계에서만 VLA 모델을 호출하는 구조를 취해왔습니다. 하지만 이 방식은 작업 단계가 늘어날수록 탐색 비용이 지수 함수적으로 증가한다는 치명적인 단점이 있습니다. 또한 작업 전환(Transitions) 상태에 대한 명시적인 표현 능력이 부족하여, 서로 다른 하위 작업이 만나는 지점에서 작업의 연속성이 무너지는 문제가 빈번하게 발생합니다. BATON 프레임워크는 이러한 기술적 병목 현상을 해결하기 위해 탐색 메커니즘과 기억 구조를 근본적으로 재설계하여 로봇이 복잡하고 연속적인 장기 작업을 수행할 수 있도록 설계되었습니다.

심층 분석

BATON 프레임워크의 핵심적인 기술 혁신은 탐색 단위를 전체 작업에서 지능형 하위 작업으로 전환하고, 전환 인식 메모리 시스템을 도입했다는 점에 있습니다. 우선 탐색 복잡도를 지수적 수준에서 선형적 수준으로 낮추기 위해, BATON은 각 하위 작업을 독립적인 탐색 단위로 취급합니다. 전체 시퀀스를 한꺼번에 학습하려 하는 대신, 각 하위 작업을 짧은 범위의 환경에서 개별적으로 탐색한 뒤 성공적인 해결책을 메모리 뱅크에 저장하는 방식입니다. 이러한 구조적 변화를 통해 시스템은 작업 시퀀스 중 정확히 어느 단계에서 문제가 발생했는지 정밀하게 파악할 수 있게 되었습니다.

작업의 연속성을 유지하기 위해 BATON은 세 가지 특화된 메커니즘을 갖춘 전환 인식 메모리 시스템을 도입했습니다. 첫째는 '검증기 에이전트(Verifier Agent)'로, 손목 카메라(Wrist view) 데이터를 활용해 환경이 VLA 실행을 위한 준비 상태에 도달했는지 확인하여 호출의 정확성을 높입니다. 둘째는 '핸드오버 전환(Handoff Transition)' 메커니즘으로, 이전 작업이 남긴 잔여 영향을 수정하여 다음 단계에 필요한 초기 상태로 환경을 재설정합니다. 마지막으로 '전방 참조 전환(Lookahead Transition)'은 에이전트가 다양한 전략의 결과를 예측하여, 후속 작업과 가장 잘 호환되는 실행 경로를 선택할 수 있게 합니다. 주목할 점은 이러한 성능 향상이 모델의 파라미터를 업데이트하지 않고도 지능적인 검색과 논리적 추론만으로 이루어졌다는 것입니다.

산업 영향

BATON 프레임워크의 유효성은 복잡한 다단계 조작 시퀀스를 테스트하는 RoboMemArena 벤치마크를 통해 입증되었습니다. 실험 결과, BATON은 기존의 최첨단(SOTA) 방식들과 비교했을 때 압도적인 성능 향상을 보여주었습니다. 구체적으로 작업 성공률(Task Success Rate)은 11.6% 향상되었으며, 특히 장기 작업의 핵심 지표인 누적 성공률(Cumulative Success Rate)은 14.9%나 개선되었습니다. 이러한 수치는 기존 VLA 모델들이 흔히 겪는 누적 오차 문제 속에서도 BATON이 매우 강력한 강건성(Robustness)을 유지할 수 있음을 시사합니다.

장기 작업을 독립적으로 탐색 가능한 모듈형 단위로 분해함으로써, BATON은 로봇 학습의 고질적인 문제인 '조합 폭발' 문제를 해결할 수 있는 실질적인 기술 경로를 제시했습니다. 거대한 파라미터 확장이 아닌 메모리와 논리 구조의 최적화를 통해 이러한 성과를 거두었다는 점은 Embodied AI 개발에 있어 매우 효율적인 이정표를 제공합니다. 산업계 측면에서 이는 로봇이 단순 반복 작업을 넘어, 다단계의 고정밀 생산 공정을 유연하게 다룰 수 있는 능력을 갖추게 됨을 의미하며, 이는 스마트 팩토리와 물류 자동화 분야에 혁신적인 변화를 가져올 것입니다.

전망

BATON은 하위 모델의 파라미터 수를 늘리지 않고도 작업 조직 논리와 메모리 검색 최적화만으로 성능을 극대화할 수 있음을 증명하며, Embodied AI 분야에 새로운 패러다임을 제시했습니다. 이는 연구의 초점이 단순히 VLA 모델의 규모를 키우는 것에서 벗어나, 에이전트가 환경과 상호작용하는 구조적 논리를 개선하는 방향으로 이동해야 함을 시사합니다. 모델의 크기에만 의존하던 기존 방식에서 벗어나, 지능적인 구조 설계를 통해 효율성을 극대화하는 방향으로 기술적 흐름이 변화하고 있습니다.

향후 VLA 모델의 근본적인 능력이 더욱 강화됨에 따라, BATON과 같이 고수준의 계획과 정밀한 작업 연결을 가능하게 하는 '두뇌' 아키텍처의 개발은 범용 로봇 지능을 구현하기 위한 핵심 과제가 될 것입니다. 이러한 기술적 진화는 로봇이 단순히 개별 기술을 학습하는 단계를 넘어, 진정한 의미의 작업 이해와 실행 능력을 갖춘 존재로 거듭나는 전환점이 될 것입니다. 결국 BATON이 제시한 경로를 따라, 실제 환경의 복잡한 상황에서도 장기적인 논리 추론이 가능한 자율 에이전트의 시대가 머지않아 도래할 것으로 전망됩니다.