Dex-One2Many: 단 한 번의 인간 시연에서 정교한 조작 학습하기

정교한 조작은 체화된 AI에서 가장 어려운 문제 중 하나다. 다지 로봇 손은 자유도가 높고 접촉 관계도 복잡하다. 하나의 과제가 여러 단계로 나뉘는 경우도 많다. 먼저 도구를 집고, 쥐는 방식을 조정한 뒤, 그 도구를 다른 물체에 사용하는 식이다. 로봇에게 이런 과제를 가르치는 전통적인 방법은 원격 조작으로 로봇 시연 데이터를 모으는 것이었다. 하지만 이런 데이터는 비싸고 양이 적으며, 물체 위치와 쥐는 방식의 다양한 변화를 충분히 담지 못한다. 그래서 많은 연구자가 사람 영상에 주목한다. 사람이 과제를 수행하는 모습을 찍는 데는 거의 비용이 들지 않는다. 진짜 어려움은 영상 한 편을 로봇이 실행할 수 있고, 상황이 바뀌어도 통하는 정책으로 바꾸는 일이다. 지금까지 가장 흔한 답은 동작 모방이다. 영상 속 손의 궤적을 로봇 손에 옮겨 최대한 엄격하게 맞춘다. Dex-One2Many의 저자들은 초록에서 이 접근의 한계를 분명히 짚는다. 엄격한 동작 일치는 일반화를 제한한다. 물체의 초기 자세가 바뀌거나, 목표 자세가 바뀌거나, 영상에 없던 쥐는 방식이 필요해지면 궤적에 묶인 정책은 쉽게 무너진다. 다른 길은 순수 강화학습이다. 넓은 일반화를 얻을 수 있지만, 안내가 없으면 고차원 행동 공간과 다단계 과제에서 탐색이 매우 비효율적이고, 첫 단계조차 넘지 못할 수 있다. 두 문제는 서로 얽혀 있다. 모방은 앞의 문제를 풀지 못하고, 맨 강화학습은 뒤의 문제를 풀지 못한다. 논문의 핵심 통찰은 추상화 수준을 바꾸는 것이다. 손이 지나간 정확한 경로를 기록하는 대신, 영상을 단계별 장면 그래프의 연속으로 추상화한다. 장면 그래프는 각 단계에서의 관계를 기술한다. 어떤 물체가 잡혀 있는지, 어떤 물체끼리 닿아 있는지, 한 물체가 다른 물체에 대해 어디에 있는지 같은 정보다. 좌표는 빼고 조건만 적은 과제 명세서라고 생각하면 쉽다. 각 단계에서 무엇이 성립해야 하는지는 알려 주되, 그 조건을 어떻게 만족시킬지는 정책이 스스로 찾도록 남겨 둔다. 그래프가 제약하는 것은 정확한 자세가 아니라 관계이므로, 서로 다른 수많은 구체적 설정을 자연스럽게 포함한다. 이 성질 덕분에 같은 그래프가 두 가지 역할을 맡는다.

첫 번째 역할은 생성적 제약이다. 그래프를 바탕으로 다양한 리셋 상태를 샘플링할 수 있고, 이 상태들은 영상에 나타나지 않은 물체 자세와 쥐는 방식까지 폭넓게 다룬다. 두 번째 역할은 단계별 조밀한 보상이다. 현재 상태가 그 단계의 목표에서 얼마나 떨어져 있는지를 강화학습에 계속 알려 준다. 두 역할이 합쳐지면 탐색 문제를 정면으로 다룰 수 있다. 다단계 과제는 처음부터 탐색하는 방식에 불리하다. 최종 보상을 보려면 정책이 수많은 동작을 연달아 맞혀야 하기 때문이다. Dex-One2Many는 각 단계를 샘플링된 리셋 상태에서 시작하고 조밀한 보상으로 이끈다. 그래서 탐색 구간은 짧고 방향이 있다. 리셋 상태가 단일 시연이 아니라 관계 제약에서 나오므로, 정책이 만나는 물체 자세와 쥐는 방식도 처음부터 다양하다.

학습은 전부 시뮬레이션 안에서 이뤄진다. real-to-sim-to-real은 실제 영상에서 시뮬레이션 장면을 만들고, 그 안에서 학습한 뒤, 정책을 실제 다지 손에 제로샷으로 옮기는 흐름을 가리킨다. 로봇 시연 데이터는 전혀 쓰지 않는다. 영상은 과제의 구조만 제공하고, 동작의 세부는 강화학습이 시뮬레이터 안에서 다듬는다. 이런 분업에는 실용적인 장점이 있다. 사람 손과 로봇 손의 형태 차이 때문에 모방 방식에서 생기는 리타기팅 오차가 최종 정책으로 곧바로 전달되지 않는다. 평가는 도구 사용과 조작을 포함한 다섯 과제에서 이뤄졌다. 영상과 같은 기존 설정에서는 기준선보다 6.5% 앞선다. 격차가 크지 않다는 것은 익숙한 조건에서는 기준선도 약하지 않다는 뜻이다. 눈여겨볼 수치는 처음 보는 시나리오다. 물체 자세, 목표 자세, 쥐는 방식이 시연에서 멀어지면 격차는 71%로 벌어진다. 이 대비는 논문의 주장을 뒷받침한다. 엄격한 모방은 시연 근처에서는 버티지만 멀어지면 빠르게 무너지고, 관계 수준의 추상화는 일반화를 지킨다. 두 수치는 답하는 질문도 다르다. 앞의 것은 익숙한 조건의 성공률 차이이고, 뒤의 것은 분포 밖 변화에 대한 견고함이다. 이 연구가 실제로 답하려는 질문은 뒤쪽이다.

몇 가지 유의점이 있다. 이 수치들은 arXiv 프리프린트의 초록에서 나온 것이다. 기준선의 정확한 구성, 다섯 과제의 난이도 분포, 실제 로봇 시행 횟수는 전문을 읽어야 판단할 수 있으므로 과도하게 외삽하지 않는 편이 좋다. 초록은 장면 그래프를 자동으로 추출하는지, 사람이 보정해야 하는지도 밝히지 않는데, 이는 확장성에 직접 영향을 준다. 시뮬레이션과 현실의 간극은 여전히 장면 복원과 물리 모델의 품질에 달려 있다. 또한 단계별 분해가 보고된 다섯 과제보다 더 길고 개방적인 과제에서도 통하는지는 아직 확인되지 않았다. 산업 측면에서 이 연구의 가치는 데이터 병목을 우회하는 저비용 경로를 보여 준 데 있다. 사람 영상 한 편과 시뮬레이터만으로 실제 손에서 작동하는 정책을 학습할 수 있다. 시연과 탐색 사이에서는 데이터의 양보다 추상화의 수준이 더 중요하다는 일반적인 설계 원칙도 시사한다. 사전 지식을 관계 제약으로 표현하면 궤적 모방처럼 정책을 가두지 않고, 맨 강화학습처럼 탐색을 운에 맡기지도 않는다. 사람 시연을 궤적이 아니라 관계로 표현한다는 발상은 정교한 로봇을 만드는 팀이 계속 지켜볼 만하다.