DreamTrue：反事実的ポストトレーニングで行動に忠実なロボット世界モデルを実現

ロボットの世界モデルの価値は、実機に触れる前に方策が「予行演習」できる点にある。現在の観測と一連の行動が与えられたとき、次に何が起こるかを予測するのがその役割だ。発想は単純だが、実現は難しい。動画生成モデルは「それらしく見える」ことを得意とするのに対し、ロボットに必要なのは「与えた行動に忠実な」予測だからである。DreamTrue は Junyan Li、Ruizhi Li、Yu Liu らの研究チームが2026年10月8日に arXiv（2610.12468）で公表した、マルチビューかつクロスエンボディメントのロボット世界モデルである。目標は二つ、行動への忠実さ（action-faithful）と物理的な妥当性（physically plausible）だ。前者は生成映像が入力された行動に正確に従うこと、後者は接触や把持、衝突の結果が物理の常識に合うことを指す。どちらかが欠ければ、世界モデルは見栄えのよい動画プレーヤーにすぎず、実環境の代わりに方策を評価したり学習させたりすることはできない。

論文は、既存のロボットデータセットでこの種のモデルを学習すると二つの壁にぶつかると指摘する。一つ目は校正の不正確さである。行動の軌跡を画素に対応づけるには、カメラとアームの幾何関係を知る必要がある。この関係がわずかでもずれると、「行動から画像へ」の対応が歪み、モデルは指示を正しく追えなくなる。二つ目は失敗事例の少なさである。公開データの大半はタスクを成功させた実演で、空振りの把持や物体の滑落、転倒といった記録はごくわずかしかない。その結果、モデルには楽観的な偏りが生まれ、どんな行動を与えても成功の結末を描きがちになる。これは計画や評価にとって危険だ。失敗を一度も見たことのない世界モデルは、方策に「その動きではコップを落とす」と警告できないからである。問題を行動条件の精度と、交互作用の結果の現実味という二つに切り分けて名指ししたことが、この研究の最初の貢献といえる。

一つ目の壁に対し、DreamTrue は行動軌跡を画像空間の条件としてレンダリングし、オフラインの幾何校正によってそれを目標の動画に整合させる。つまり、行動を抽象的な関節値の列としてネットワークに渡すのではなく、カメラ視点の中に「描き込む」。エンドエフェクタがこれからどこへ向かうかを、モデルが画素のレベルで直接見られるようにする発想だ。利点は二つある。ロボットごとに関節の定義は大きく異なるが、画像空間の表現はその差を自然に吸収し、複数の機体をまたぐ学習を支える。また、オフライン校正によって幾何誤差を学習の前に一度だけ補正でき、ネットワークに推測させずに済む。マルチビュー設定は三次元的な一貫性への制約を強め、単一視点の曖昧さも減らす。論文は AgiBot で最先端の行動追従性能を達成したと報告している。ただし要旨には具体的な数値がないため、詳細は原文で確認する必要がある。

二つ目の壁に対しては、反事実的ポストトレーニング（counterfactual post-training）が導入される。記録済みの行動軌跡を改変し、その新しい行動のもとでの未来の映像をモデルに生成させることで、行動と接触の構成を広くカバーする。直感は明快だ。誰も「物体の隣でグリッパーが空を掴む」実演を記録しないが、世界モデルはそのとき何が起こるかを知っていなければならない。軌跡を「もしこう動かしていたら」という問いに書き換えることで、学習分布は成功例から周辺事例や失敗例へと広がる。すると新たな難題が生じる。生成された未来には正解の映像がないのに、良し悪しをどう判定するのか。著者らは、ロボット、物体、相互作用の三種類の欠陥を網羅した人手注釈の動画データセットを構築し、それで具現化された動画報酬モデルを訓練した。この報酬モデルは対となる実際の未来を必要とせず、物体の消失やすり抜け、成立しない把持といった欠陥の有無を採点する。そのスコアが強化学習によるポストトレーニングを導き、より物理的に妥当な結果へとモデルを押しやる。

結果は印象的だ。人手で評価した相互作用の欠陥率は 48.12% から 6.25% に下がった。ポストトレーニング前は生成結果の半数近くに目に見える欠陥があったが、後では約16件に1件にとどまる。DreamTrue はさらに、AgiBot World Challenge 2026 の世界モデル部門で1位を獲得した。この数字は冷静に読むべきである。欠陥率は人手評価によるもので、注釈の基準や標本数、評価者の人数は要旨に書かれていない。比較対象の基線が強力だったかどうかも、原文での確認が要る。それでも、方法論としての示唆は十分に明確だ。第一に、世界モデルの課題は画質から因果的な忠実さへ移りつつあり、評価指標は行動追従と相互作用の欠陥を軸に設計されるべきである。第二に、反事実データと報酬モデル、強化学習を組み合わせれば、実際の未来のラベルを使わない閉ループが成立する。言語モデルにおける人間のフィードバックによる強化学習に似ているが、対象は物理的な相互作用だ。第三に、十分に信頼できるモデルは、方策の学習と評価のための安価なシミュレータになりうる。報酬モデル自身の盲点、人手ラベルの網羅性、分布外のタスクへの汎化といった課題は、今後の検証に委ねられている。