DreamTrue：用反事實後訓練打造動作忠實的機器人世界模型

機器人世界模型的價值，在於讓策略在真實硬體之外“先做一遍夢”：給定當前觀測和一段動作序列，模型預測接下來會發生什麼。這個想法聽起來樸素，落地卻極難，因為影片生成模型天生擅長“看起來像”，而機器人需要的是“動作對得上”。DreamTrue 由李浚巖、李瑞之、劉宇等研究者提出，論文發表於 2026 年 10 月 8 日的 arXiv（編號 2610.12468）。它是一個多視角、跨本體的機器人世界模型，目標被概括為兩個詞：動作忠實（action-faithful）與物理合理（physically plausible）。前者要求生成的畫面嚴格服從輸入的動作，後者要求接觸、抓取、碰撞等互動的結果符合物理常識。兩者缺一，世界模型就只是一個好看的影片播放器，無法替代真實環境去評估或訓練策略。 論文指出，在現有機器人資料集上訓練這樣的模型，會撞上兩堵牆。第一堵是標定不精確：動作軌跡要與畫面對齊，就必須知道相機與機械臂之間的幾何關係，一旦標定有偏差，模型學到的“動作到畫素”的對映就是歪的，表現為模型聽不準指令。第二堵是失敗樣本稀缺：公開資料集裡絕大多數是成功完成任務的演示，抓空、滑落、碰撞、撞翻物體的記錄寥寥無幾。模型因此會形成“樂觀偏置”，無論給什麼動作，都傾向於生成任務成功的結局。這對規劃與評估尤其危險，因為一個從未見過失敗的世界模型，無法告訴策略“這樣做會摔”。把這兩個問題拆開命名，是這篇工作的第一個貢獻：它們分別對應動作條件的精度與互動結果的真實度。 針對第一堵牆，DreamTrue 採用的辦法是把動作軌跡渲染為影象空間中的條件，再透過離線幾何標定，使這些條件與目標影片精確對齊。換句話說，它不把動作當成一串抽象的關節數值餵給模型，而是把動作“畫”到相機視角里，讓模型在畫素層面直接看到末端執行器將要去哪裡。這樣做有兩個好處：其一，不同機器人的關節定義千差萬別，影象空間的表示天然抹平了本體差異，為跨本體訓練鋪路；其二，離線標定把幾何誤差在訓練前一次性校正，而不是讓網路自己去猜。多視角設定則進一步約束了三維一致性，減少單視角下的歧義。論文報告，該模型在 AgiBot 上取得了當前最優的動作跟隨表現。需要說明的是，摘要沒有給出動作跟隨的具體指標數值，評估細節應以原文為準。

從工程角度看，這一設計還有一層含義：條件的形式決定了資料的可複用程度。如果動作只以本體相關的關節數值出現，每換一種機器人就要重新學習一次對映；一旦動作變成畫面裡的軌跡，來自不同機械臂的資料就能進入同一個訓練池，資料規模與多樣性隨之放大。這正是“跨本體”三個字背後真正的收益，也解釋了為什麼標定質量如此關鍵：條件畫得越準，模型從大規模異構資料中學到的規律就越乾淨。 針對第二堵牆，論文提出了反事實後訓練（counterfactual post-training）。做法是修改已記錄的動作軌跡，再讓模型生成這些新動作下的未來影片，從而覆蓋更寬的動作與接觸配置。直覺很清晰：真實資料裡沒有人會故意把夾爪移到物體旁邊空抓，但世界模型必須知道那樣會發生什麼。透過對錄製軌跡做“如果當時這樣動會怎樣”的改寫，訓練分佈從成功演示擴充套件到了大量邊緣與失敗情形。隨之而來的問題是：這些新生成的未來沒有真實的對照畫面，怎麼判斷它們好不好？作者的回答是構建一個人工標註的影片資料集，覆蓋機器人、物體與互動三類缺陷，並據此訓練一個具身影片獎勵模型。這個獎勵模型不需要配對的真實未來，只需判斷一段影片有沒有穿模、物體憑空消失、抓取不成立之類的缺陷，再用它的分數引導強化學習後訓練，把模型推向更物理合理的互動結果。

結果相當醒目：人工評估的互動缺陷率從 48.12% 降到 6.25%，也就是說，原本近一半的生成結果存在可見的互動缺陷，後訓練之後只剩約十六分之一。同時，DreamTrue 在 2026 年 AgiBot World Challenge 的世界模型賽道排名第一。讀這組數字要保持冷靜：缺陷率來自人工評估，其標註標準、樣本規模和評估者數量，摘要都沒有交代；對比基線是否同為強基線，也要回到原文核對。但方法論層面的啟示已經足夠清楚。其一，世界模型的瓶頸正從“畫面質量”轉向“因果忠實”，評價指標需要圍繞動作跟隨與互動缺陷來設計。其二，反事實資料加獎勵模型加強化學習，構成了一條不依賴真實未來標註的閉環，類似語言模型中的人類反饋強化學習，但物件換成了物理互動。其三，如果這類模型足夠可靠，它就能成為策略訓練與評估的低成本模擬器。當然，獎勵模型本身的盲區、人工標註的覆蓋面，以及對分佈外任務的泛化，都是後續需要檢驗的問題。