Ropedia W0: 인간 경험 기반 교차 로봇 월드 모델

배경

월드 모델은 구현형 에이전트가 행동하기 전에 그 결과를 먼저 예측하게 해 줍니다. Ropedia W0는 이 문제의 어려운 버전을 겨냥합니다. 걷기와 조작을 하나의 시스템에서 함께 다루고, 인간과 여러 로봇 본체를 동시에 포괄하기 때문입니다. 논문은 W0를 인간과 다중 로봇 본체를 아우르는 최초의 1인칭 loco-manipulation 월드 파운데이션 모델이라고 설명합니다.

저자들이 꼽은 장애물은 두 가지입니다. 첫째, 본체마다 자유도와 제어 인터페이스가 달라 행동 공간이 일치하지 않습니다. 이를 그대로 섞어 학습하면 공통된 동역학을 배우기 어렵습니다. 둘째, 지도 데이터가 부족합니다. 1인칭 영상과 정렬된 멀티모달 행동 주석을 모두 갖춘 데이터는 규모가 작았습니다.

핵심 가정은 단순합니다. 1인칭 인간 영상은 양이 많고 장면도 다양합니다. 사람과 로봇의 움직임을 같은 표현으로 옮길 수 있다면, 인간의 경험이 로봇으로 전이될 수 있다는 것입니다.

심층 분석

Ropedia W0는 인간과 로봇의 행동을 어떻게 하나의 표현으로 나타낼까요? 카메라 포즈로 보행을, 화면에 투영한 골격으로 조작을 나타냅니다. 1인칭 시점에서는 몸의 이동이 카메라의 이동으로 드러나므로 카메라 포즈가 걷기를 담습니다. 손과 팔의 자세는 이미지 공간의 골격으로 투영되어 조작을 담습니다. 두 움직임이 같은 시각적 공간에 놓이면서 행동 공간의 불일치가 공동 학습을 막지 않게 됩니다.

골격의 출처는 본체마다 다릅니다. 인간은 주석에서 바로 얻을 수 있습니다. 로봇은 본체별 순기구학에 많은 수작업 키포인트 주석과 보정을 결합합니다. 기구학이 골격의 기본 형태를 주고, 사람의 보정이 남은 오차를 바로잡습니다. 월드 모델은 잡음이 낀 라벨에 민감하고, 행동과 화면이 어긋나면 잘못된 인과를 배웁니다. 그래서 이 단계가 중요합니다.

학습 재료는 Xp-Data입니다. 1인칭 인간 데이터 1만 시간과 로봇 데이터 3000시간으로 구성되고, 통일된 멀티모달 주석과 체계적인 품질 관리를 갖췄습니다. 학습은 두 단계입니다. 대규모 인간 데이터로 사전학습해 행동과 화면의 일반적 관계를 익히고, 이후 특정 로봇에 맞춰 퓨샷 또는 전체 데이터로 후학습합니다. 마지막으로 증류를 거쳐 추론 속도를 실시간 수준으로 끌어올렸습니다.

산업 영향

평가는 DreamDojo, Ψ0, ω-HOME, Xp-Teleop, AgiBot의 다섯 개 교차 본체 벤치마크와 별도로 남겨 둔 인간 1인칭 영상으로 진행했습니다. 제로샷, 퓨샷 후학습, 전체 후학습 설정을 모두 다루며, 저자들은 이 전반에서 SOTA를 보고합니다. Xp-Teleop은 이 논문이 새로 내놓은 벤치마크입니다. 정교한 휴머노이드 원격 조작 데이터를 바탕으로, 걷기와 조작이 결합된 장기 과제를 다룹니다.

눈에 띄는 결과는 데이터 규모 효과입니다. 인간 사전학습 데이터를 늘리자 인간 평가뿐 아니라 로봇 평가도 함께 좋아졌습니다. 인간 경험이 로봇 월드 모델의 양분이 될 수 있다는 핵심 가정을 직접 뒷받침하는 결과입니다. 로봇 데이터 수집은 느리고 비싸지만 1인칭 인간 영상은 훨씬 큰 규모로 모을 수 있으므로, 데이터 확보의 비용 균형이 달라질 수 있습니다.

증류된 모델은 실시간 분 단위 롤아웃을 지원해 VR 실시간 상호작용에 쓸 수 있습니다. 저자들은 정책 평가, 모델 기반 계획, 월드-액션 모델링에서의 활용도 보여 줍니다. 월드 모델 안에서 정책을 평가하면 실제 로봇 시험을 줄일 수 있고, 계획 단계에서는 후보 행동을 상상 속에서 비교할 수 있습니다.

전망

원문만으로는 풀리지 않는 질문이 남습니다. 분 단위 롤아웃의 장기 안정성은 더 검증해야 합니다. 작은 오차가 시간이 지나며 쌓일 수 있기 때문입니다. 더 많은 로봇 본체로의 확장도 통일 표현의 시험대입니다. 새 본체는 여전히 카메라 포즈와 투영 골격의 형태로 옮겨져야 합니다.

실제 제어 루프와의 결합도 더 증명이 필요합니다. 예측이 정확한 월드 모델도 로봇이 이를 바탕으로 폐루프에서 움직일 때 성능이 유지되어야 쓸모가 있습니다. 원문은 이 점에 대한 세부 내용을 주지 않으므로, 실제 배치에 관한 주장은 신중해야 합니다.

그래도 Ropedia W0는 행동 표현의 통일, 인간 1만 시간과 로봇 3000시간 규모의 데이터, 증류 후 실시간 추론이라는 세 측면에서 교차 본체 월드 모델을 앞으로 밀었습니다. 지켜볼 결과는 인간 사전학습 데이터가 로봇 평가를 높인다는 발견입니다. 후속 연구가 더 많은 본체와 더 긴 과제에서 이를 확인하면, 1인칭 인간 영상은 로봇 월드 모델의 표준 학습 자원이 될 수 있습니다.