Dex-One2Many：1本の人間デモ動画から器用な操作を学ぶ
Dex-One2Manyは、1本の人間動画から器用な操作ポリシーを学ぶreal-to-sim-to-realの枠組みである。動画を連続したシーングラフに抽象化し、多様なリセット状態の生成と段階ごとの密な報酬に使うことで、強化学習の探索を効率化しつつ汎化を保つ。学習はシミュレーションのみで、実機の多指ハンドへゼロショットで転移する。5つのタスクで既知設定は6.5%、未知設定は71%、ベースラインを上回った。
器用な操作は、身体性AIの中でも特に難しい課題の一つである。多指ハンドは自由度が高く、接触の関係も複雑だ。1つのタスクが複数の段階に分かれることも多い。たとえば、まず道具を持ち上げ、次に握り方を整え、最後にその道具を別の物体に作用させる。こうした作業をロボットに教える従来の方法は、遠隔操作でロボットのデモを集めることだった。しかしこのデータは高価で、量も限られ、物体の位置や握り方の変化を十分にカバーできない。そこで注目されているのが人間の動画である。人がタスクをこなす様子を撮るだけなら、収集コストはほぼゼロに近い。本当の難所は、その1本の動画を、ロボットが実行でき、しかも応用の利く方策にどう変えるかにある。
現在よく見られるのは動作の模倣である。動画の手の軌跡をロボットハンドに写し取り、できるだけ厳密に一致させる。Dex-One2Manyの著者らは、この方法の限界を要旨ではっきり述べている。厳密な動作の一致は汎化を狭める。物体の初期姿勢が変わる、目標姿勢が変わる、動画に出てこない握り方が必要になる。そのような場面で、軌跡に縛られた方策は崩れやすい。もう一つの道は純粋な強化学習である。広い汎化は得られるが、事前の誘導がなければ、高次元の行動空間と多段階のタスクで探索が極端に難しくなり、最初の段階すら越えられないことがある。汎化と探索という2つの問題は絡み合っている。模倣は前者を解けず、強化学習は後者を解けない。
この論文の核心は、抽象化の階層を変えた点にある。手が通った正確な経路を記録する代わりに、動画を順序づけられたシーングラフの列に抽象化する。シーングラフは、各段階で手と物体、物体と物体がどんな関係にあるかを表す。何が掴まれているか、何と何が接しているか、何が何に対してどこにあるか、といった情報である。座標を書かず、関係だけを書いた作業指示書と考えるとわかりやすい。各ステップで成り立つべき条件は示すが、その条件をどう満たすかは方策が自分で見つける余地として残される。グラフが制約するのは正確な姿勢ではなく関係なので、多数の異なる具体的設定を自然に含むことができる。
このため、同じグラフが2つの役割を担う。第1は生成的な制約である。グラフに従って多様なリセット状態をサンプリングでき、その状態は動画に現れない物体姿勢や握り方まで広くカバーする。第2は各段階の密な報酬である。いまの状態がその段階の目標からどれだけ離れているかを、強化学習に伝え続ける。多段階タスクで最も怖いのは、最初から探索することだ。方策は何手も連続で正しく動かないと最終報酬に届かない。Dex-One2Manyは、グラフから各段階の開始状態をサンプリングし、その段階の開始点から密な報酬を頼りに練習させる。そのため1回の探索は短く、方向も定まる。しかも開始点は単一のデモではなく関係の制約から来るので、方策が出会う物体姿勢や握り方も初めから多様である。
学習はすべてシミュレーション内で行われる。real-to-sim-to-realとは、実際の動画からシミュレーション上の場面を作り、そこで学び、方策を実機の多指ハンドへゼロショットで移すという流れを指す。ロボットのデモデータは一切使わない。動画はタスクの構造だけを与え、動作の細部は強化学習がシミュレーション内で磨く。この分業には利点がある。動画の手とロボットハンドの形が違うことで生じるリターゲティング誤差が、最終的な方策に直接伝わりにくいのだ。評価は5つの道具使用・操作タスクで行われた。動画に現れた既知の設定ではベースラインを6.5%上回る。この差は大きくなく、慣れた条件ではベースラインも弱くないことを示す。注目すべきは未知の設定である。物体姿勢、目標姿勢、握り方が示範から外れると、差は71%に広がる。厳密な模倣は分布内ではまだ通用するが、示範から離れると急に崩れる。関係レベルの抽象化は汎化を保つ。この対比は論文の主張とよく合う。
ただし、これらの数字はプレプリントの要旨に基づく。ベースラインの具体的な構成、各タスクの難易度、実機試験の回数は、全文を読まなければ判断できないため、過度な外挿は避けたい。6.5%と71%は意味も異なる。前者は慣れた条件での成功率の差であり、後者は分布外の変化に対する頑健さの差だ。この研究が本当に答えようとしているのは後者である。産業への意義は、データのボトルネックに低コストの道筋を示したことにある。人間の動画1本とシミュレータがあれば、実機で動く方策を学べる。さらに、示範と探索のあいだでは、データの量よりも抽象化の階層が重要だという一般的な設計原則も示唆される。事前知識を関係の制約として表せば、軌跡模倣のように方策を縛らず、素の強化学習のように探索を運任せにしない。限界もある。シーングラフの構築は動画理解の質に依存する。シミュレーションと現実の差はモデリング精度で埋める必要がある。段階の分け方がより長く開かれた場面でも通用するかは、まだ確かめられていない。要旨はシーングラフが自動抽出か人手の補正を要するかにも触れておらず、導入コストを見積もる際はまずそこを確認すべきである。それでも、人間の示範を軌跡ではなく関係で表すという発想は、器用な操作のデータ戦略として追う価値がある。
Sources
FAQ
Dex-One2Manyの核となる考え方は何ですか。
人間の手の軌跡をフレーム単位で真似るのではなく、1本の動画を連続したシーングラフに抽象化します。グラフが縛るのは手と物体の関係であり、厳密な位置姿勢ではありません。このグラフは、多様なリセット状態を生成する制約として働き、各段階の密な報酬も与えます。そのため強化学習の探索は短く、方向が定まります。
結果から何が言えますか。注意点もあわせて教えてください。
要旨によれば、5つのタスクで既知設定は6.5%、未知設定は71%、ベースラインを上回り、シミュレーションのみの学習で実機の多指ハンドへゼロショット転移します。関係レベルの抽象化が汎化に効くことを示す結果です。ただしプレプリントの要旨にある数字です。ベースラインの設定、タスクの難しさ、実機試行の回数は、全文を読まないと判断できません。