DreamTrue: 반사실적 후속 학습으로 행동에 충실한 로봇 월드 모델 구현

로봇 월드 모델의 가치는 정책이 실제 하드웨어를 건드리기 전에 미리 연습해 볼 수 있게 해 준다는 데 있다. 현재 관측과 계획된 행동 열이 주어지면 모델은 다음에 무슨 일이 일어날지를 예측한다. 아이디어는 단순하지만 구현은 어렵다. 비디오 생성 모델은 그럴듯해 보이는 영상을 만드는 데 능하지만, 로봇에게 필요한 것은 입력한 행동에 충실한 예측이다. DreamTrue는 Junyan Li, Ruizhi Li, Yu Liu 등이 2026년 10월 8일 arXiv(2610.12468)에 공개한 다중 시점, 교차 형태(cross-embodiment) 로봇 월드 모델이다. 목표는 행동 충실성(action-faithful)과 물리적 타당성(physically plausible) 두 가지다. 전자는 생성된 영상이 입력 행동을 정확히 따르는 것이고, 후자는 접촉, 파지, 충돌의 결과가 실제 물리와 맞아떨어지는 것이다. 둘 중 하나라도 빠지면 월드 모델은 보기 좋은 영상 재생기에 불과해서, 정책을 평가하거나 학습시킬 때 실제 환경을 대신할 수 없다.

논문은 기존 로봇 데이터셋으로 이런 모델을 학습할 때 두 가지 장벽이 있다고 지적한다. 첫째는 부정확한 보정이다. 행동 궤적을 화소와 맞추려면 카메라와 로봇 팔 사이의 기하 관계를 알아야 한다. 이 관계가 조금만 틀려도 행동에서 이미지로 가는 대응이 비뚤어지고, 모델은 명령을 잘 따르지 못한다. 둘째는 실패 사례의 부족이다. 공개 데이터는 대부분 과제를 성공한 시연으로 이루어져 있고, 헛집기나 미끄러짐, 물체 전복 같은 기록은 드물다. 그 결과 모델은 낙관적 편향을 갖게 되어, 어떤 행동을 받아도 성공적인 결말을 그리려는 경향이 생긴다. 이는 계획과 평가에 위험하다. 실패를 본 적 없는 월드 모델은 정책에게 그 동작이 컵을 떨어뜨릴 것이라고 경고할 수 없기 때문이다. 문제를 행동 조건의 정밀도와 상호작용 결과의 현실감이라는 두 갈래로 나누어 이름 붙인 것이 이 연구의 첫 기여다.

첫 번째 장벽에 대해 DreamTrue는 행동 궤적을 이미지 공간의 조건으로 렌더링하고, 오프라인 기하 보정으로 이 조건을 목표 영상과 정렬한다. 즉 행동을 추상적인 관절 값의 나열로 네트워크에 넘기지 않고 카메라 시점 안에 그려 넣는다. 모델은 말단 장치가 어디로 향할지를 화소 수준에서 직접 볼 수 있다. 장점은 두 가지다. 로봇마다 관절 정의가 크게 다르지만 이미지 공간 표현은 그 차이를 자연스럽게 흡수해 여러 형태에 걸친 학습을 뒷받침한다. 또한 오프라인 보정은 기하 오차를 학습 전에 한 번 바로잡아 주므로 네트워크가 추측할 필요가 없다. 다중 시점 설정은 3차원 일관성에 대한 제약을 더하고 단일 시점의 모호성을 줄인다. 논문은 AgiBot에서 최고 수준의 행동 추종 성능을 달성했다고 보고한다. 다만 초록에는 구체적인 수치가 없으므로 정확한 값은 원문에서 확인해야 한다.

두 번째 장벽에 대해서는 반사실적 후속 학습(counterfactual post-training)을 도입한다. 기록된 행동 궤적을 수정하고, 그 새로운 행동 아래의 미래 영상을 모델이 생성하게 하여 행동과 접촉 구성을 폭넓게 다룬다. 직관은 분명하다. 물체 옆에서 그리퍼가 허공을 쥐는 시연을 일부러 기록하는 사람은 없지만, 월드 모델은 그때 어떤 일이 벌어지는지 알아야 한다. 궤적을 만약 이렇게 움직였다면이라는 질문으로 다시 쓰면 학습 분포는 성공 시연에서 경계 사례와 실패 사례로 넓어진다. 그러면 새로운 어려움이 생긴다. 생성된 미래에는 정답 영상이 없는데 어떻게 좋고 나쁨을 판정하는가. 저자들은 로봇, 물체, 상호작용의 결함을 모두 다루는 사람 주석 영상 데이터셋을 만들고, 이를 바탕으로 구현형 영상 보상 모델을 학습했다. 이 보상 모델은 짝지어진 실제 미래가 필요 없으며, 물체가 사라지거나 몸체가 관통하거나 성립하지 않는 파지가 있는지를 채점한다. 그 점수가 강화학습 후속 학습을 이끌어 더 물리적으로 타당한 결과로 모델을 밀어 준다.

결과는 인상적이다. 사람이 평가한 상호작용 결함률이 48.12%에서 6.25%로 떨어졌다. 후속 학습 전에는 생성 결과의 거의 절반에 눈에 띄는 결함이 있었지만, 이후에는 열여섯 개 중 하나 정도다. DreamTrue는 또한 2026 AgiBot World Challenge의 월드 모델 트랙에서 1위를 차지했다. 이 숫자는 차분하게 읽어야 한다. 결함률은 사람의 평가에서 나온 것이며, 주석 기준과 표본 크기, 평가자 수는 초록에 나와 있지 않다. 비교 기준선이 강력했는지도 원문에서 확인해야 한다. 그래도 방법론적 시사점은 충분히 분명하다. 첫째, 월드 모델의 병목이 화질에서 인과적 충실성으로 옮겨 가고 있으며 평가 지표는 행동 추종과 상호작용 결함을 중심으로 설계되어야 한다. 둘째, 반사실 데이터와 보상 모델, 강화학습이 실제 미래 라벨 없이 돌아가는 폐루프를 이룬다. 언어 모델의 인간 피드백 강화학습과 닮았지만 대상이 물리적 상호작용이다. 셋째, 충분히 믿을 만한 모델은 정책 학습과 평가를 위한 값싼 시뮬레이터가 될 수 있다. 보상 모델 자체의 사각지대, 사람 라벨의 범위, 분포 밖 과제로의 일반화는 앞으로 검증할 과제다.