Dex-One2Many：從單段人類示範影片學習靈巧操作

靈巧操作是具身智慧裡最難啃的骨頭之一。多指機械手的自由度高，接觸關係複雜，一個完整任務往往要拆成好幾個階段：先拿起工具，再調整抓握，最後用工具去作用於另一個物體。要讓機器人學會這類任務，傳統路線是遙操作採集機器人示教資料，但這種資料昂貴、規模小，也很難覆蓋物體位置和抓法的變化。於是不少研究者把目光轉向人類影片：一個人完成任務的錄影，採整合本幾乎為零。真正的難點在於，怎樣把一段影片變成機器人可以執行、而且能舉一反三的策略。 目前常見的做法是模仿動作，也就是把影片裡的手部軌跡重定向到機械手上，再儘量嚴格地匹配。Dex-One2Many 的作者在摘要裡直接指出了這條路的侷限：嚴格的動作匹配會限制泛化。物體的初始位姿換了，目標位姿換了，或者需要一種影片裡沒出現過的抓法，被軌跡綁死的策略就容易失效。另一條路是純強化學習，它能獲得很寬的泛化，但沒有先驗引導時，面對高維動作空間和多階段任務，探索效率極低，往往連第一階段都走不通。泛化和探索這兩個問題相互糾纏，模仿解決不了前者，強化學習解決不了後者。

論文的核心洞見是換一個抽象層級：不去記錄手走過的精確路徑，而是把影片抽象成一串按順序排列的場景圖。場景圖描述的是每個階段裡手與物體、物體與物體之間的關係，比如誰被抓住、誰與誰接觸、誰相對於誰處在什麼位置。可以把它理解為一份只寫關係、不寫座標的任務說明書：它告訴系統每一步必須成立的條件，卻把怎麼做到這些條件的自由留給策略自己去發現。因為場景圖約束的是關係而不是精確位姿，所以它天然容納了大量不同的具體配置。這個設計讓同一份圖承擔了兩個角色。第一，它是生成式約束，可以據此取樣出多樣的重置狀態，這些狀態覆蓋了影片裡沒有出現過的物體位姿和抓法。第二，它為每個階段提供稠密獎勵，告訴強化學習當前離這一階段的目標還差多遠。 把這兩個角色放在一起，訓練流程的邏輯就清楚了。多階段任務最怕的是從頭探索：策略必須連續做對很多步，才能拿到最終獎勵。Dex-One2Many 的做法是從場景圖取樣出每個階段的起點，讓策略直接在該階段的起點上練習，並且用稠密獎勵引導，於是每一段探索都很短，也有方向。同時，由於起點來自關係約束而不是單一示範，策略見到的物體位姿和抓法本身就是多樣的。整個訓練完全在模擬中完成，所謂 real-to-sim-to-real，就是先從真實影片重建出模擬場景，在模擬裡學習，再把策略零樣本遷移到真實的多指手上。這裡沒有用到任何機器人示教資料，人類影片只提供任務的結構，具體的動作細節由強化學習在模擬裡自己磨出來。這樣分工的好處是，影片裡手的形態與機械手不同所帶來的重定向誤差，不會直接傳導到最終策略上。

從結果看，作者在五個工具使用與操作任務上做了評估。在影片裡出現過的已見配置上，方法領先基線 6.5%。這個差距並不大，說明在熟悉的條件下，基線並不弱。真正有意思的是未見場景：當物體位姿、目標位姿和抓法偏離示範時，差距擴大到 71%。這個對比正好支援了論文的論點，即嚴格模仿在分佈內尚可，一旦離開示範就迅速退化，而關係級的抽象保住了泛化。需要說明的是，這些數字出自預印本摘要，基線的具體構成、各任務的難度分佈以及真機試驗的次數，還需要讀全文才能評判，不宜過度外推。另外，六點五個百分點與七十一個百分點這兩個數字的含義也不同：前者衡量的是熟悉條件下的成功率差異，後者衡量的是對分佈外變化的穩健程度，後者才是這項工作真正想回答的問題。 對行業而言，這項工作的價值在於它給資料瓶頸提供了一條低成本路徑：一段人類影片加一個模擬器，就能訓練出可上真機的策略。它也提示了一個更一般的設計原則，即在示範和探索之間，抽象的層級比資料的數量更重要。把先驗表達成關係約束，既不會像軌跡模仿那樣把策略鎖死，也不會像裸強化學習那樣把探索交給運氣。當然，侷限同樣存在：場景圖的構建依賴對影片的理解質量，模擬到現實的差距仍要靠建模精度來彌合，任務的階段劃分在更長、更開放的場景裡是否仍然適用，也有待驗證。此外，摘要沒有說明場景圖是自動抽取還是需要人工校正，這一點會直接影響方法的可擴充套件性，讀者在評估落地成本時應當先查清楚。儘管如此，用關係而非軌跡來表達人類示範，很可能會成為靈巧運算元據策略中值得持續跟進的一條線索。