SpatialHarness: 테스트 시점의 공간 발판으로 정밀 로봇 조작을 끌어내다

GPT-6 Astra로 대표되는 최첨단 멀티모달 파운데이션 모델은 최근 로봇을 직접 제어할 수 있는 가능성을 보여 주었다. 그러나 플러그 꽂기, 부품 정렬, 밀리미터 단위 공차의 물체 쌓기처럼 정밀한 조작이 필요한 과제에 들어서면 성공률은 눈에 띄게 떨어진다. 흔히 내놓는 설명은 정책의 능력이 부족하다는 것이고, 처방도 그에 따라 시연 데이터를 더 모으거나, 모델을 미세 조정하거나, 더 강한 기반 모델로 갈아타는 쪽으로 흐른다. SpatialHarness 논문은 다른 진단을 내놓는다. 실패의 상당 부분은 정책 능력의 부족이 아니라 공간 관측 가능성의 부족에서 온다는 것이다. 플러그가 소켓과 같은 축에 있는지, 원반이 기둥 끝을 넘었는지처럼 성패를 가르는 공간 관계는 기존 물리 카메라 구성으로는 잘 드러나지 않거나, 로봇 팔과 물체 자체에 가려질 수 있다. 모델은 보이지 않는 것을 추론할 수 없다. 한쪽 눈을 가린 숙련 기술자에게 배선을 맡기면 실수가 늘어나는 것과 같은 이치다.

저자들은 이 진단에 대해 테스트 시점에 작동하는 구현형 하네스인 SpatialHarness로 답한다. 정책을 미세 조정하지 않고, 물리적 센서 구성도 바꾸지 않는다. 대신 고정된 멀티모달 정책과 실제 세계 사이에 공간적 발판이 되는 층을 끼워 넣는다. 시스템은 실제 실행과 동기화된 시뮬레이션 장면을 온라인으로 유지하고, 현재 과제에 핵심적인 공간 관계를 식별한 뒤, 그 관계를 정책에 드러내는 보완적인 가상 시점을 렌더링해 전달한다. 실제 카메라가 사실을 제공하고, 가상 카메라는 그 사실을 모델이 더 쉽게 읽을 수 있는 각도로 다시 보여 준다. 이 설계의 장점은 분명하다. 시뮬레이션 속 카메라는 소켓 안쪽을 따라 보는 시점이나 두 부품 사이의 좁은 틈을 옆에서 보는 시점처럼 물리 카메라를 놓을 수 없는 곳에도 둘 수 있고, 하드웨어 비용도 들지 않는다. API로만 접근할 수 있는 폐쇄형 모델에게는 가중치를 건드리지 않고 입력만 개선하는 이 접근이 특히 현실적이다.

시뮬레이션 장면을 현실과 계속 일치시키는 일은 이 방법에서 가장 어려운 부분이다. 물체가 잡히고, 옮겨지고, 놓이는 동안 자세 추정 오차는 누적될 수 있고, 가상 시점이 현실과 어긋나면 추가 시점이 아예 없을 때보다 정책을 더 크게 오도할 수 있다. 그래서 논문은 상호작용 인식 장면 동기화를 개발하여 물체의 상태를 정지, 파지, 전이의 세 모드로 구분한다. 초록에서 읽을 수 있는 범위에서 해석하면, 정지한 물체는 인식이 놓아 둔 위치에 그대로 있다고 믿을 수 있고, 파지된 물체는 그리퍼와 함께 움직이며 말단 장치와의 상대 관계가 거의 고정되며, 잡거나 놓는 순간 같은 전이는 상태가 바뀌는 중이므로 더 신중하게 장면을 다시 맞춰야 한다는 뜻이다. 각 모드에서 쓰이는 구체적인 추정 및 보정 알고리즘은 논문 본문에서 확인해야 한다. 다만 원리 자체는 주목할 만하다. 과제의 모든 순간에 하나의 추적 규칙을 적용하는 대신, 현재의 상호작용 단계를 사전 정보로 삼아 어떤 정보원을 믿을지 정하는 것이다.

평가는 정밀한 기하 정렬, 물체 상대 배치, 관절 물체와의 상호작용을 아우르는 네 가지 실제 로봇 조작 과제로 이루어졌다. 동일한 고정 GPT-6 Astra 정책을 쓴 조건에서 SpatialHarness는 과제 성공률을 크게 끌어올렸다. 플러그 꽂기는 26.7%에서 66.7%로, 하노이의 탑은 0%에서 100%로 올랐다. 두 숫자의 의미는 같지 않다. 하노이의 탑에서 0이 만점이 되었다는 것은 병목이 거의 전적으로 원반과 기둥의 상대 위치를 보는 데 있었음을 시사한다. 그 관계가 분명히 제시되자, 모델이 원래 가진 추론과 계획 능력만으로 충분했던 것이다. 플러그 꽂기는 실제 산업 현장의 난이도에 더 가깝다. 성공률은 두 배 이상이 되었지만 세 번 중 한 번 정도는 여전히 실패하며, 관측 가능성은 여러 병목 가운데 하나일 뿐이고 접촉 처리와 힘 제어 문제가 남아 있음을 보여 준다. 증거를 냉정하게 볼 필요도 있다. 과제는 네 가지뿐이며, 시행 횟수와 실패 유형의 세부 내역은 논문과 프로젝트 사이트에서 확인해야 한다.

이 연구의 더 큰 의미는 능력의 귀속을 다시 따졌다는 데 있다. 지난 몇 년 동안 로봇 학습의 지배적인 서사는 더 큰 모델을 더 많은 데이터로 훈련하는 것이었다. SpatialHarness는 강력한 파운데이션 모델이 정밀 조작에 필요한 기술의 상당 부분을 이미 갖추고 있으며, 나쁜 관측 조건이 그것을 가두고 있을 가능성을 시사한다. 테스트 시점의 보강은 재훈련이 필요 없고, 고정된 어떤 기반 모델 위에도 얹을 수 있으며, 기반 모델을 갱신할 때도 재사용하기 쉽다. 한계도 분명하다. 이 방법은 시뮬레이션 장면의 품질에 의존하며, 물체 모델과 신뢰할 만한 자세 추정이 필요하다. 변형 물체나 처음 보는 물체에 적용되는지는 초록에 언급이 없고, 온라인 렌더링의 지연과 연산 비용도 밝히지 않았다. 업계에는 이 논문이 하나의 공학적 층, 곧 고정된 모델 주위에 쌓는 하네스를 전면으로 끌어낸다. 파운데이션 모델의 원초적 능력이 비슷해질수록, 실제 로봇의 성능은 누가 모델에게 세상을 보는 더 나은 방법을 주느냐에 점점 더 좌우될 수 있다.