Velox：空間メモリで動画世界モデルの推論を高速化

背景と概要

動画世界モデルは、行動とカメラの動きを長い視覚的ロールアウトに変換します。動画をそのままインタラクティブなシミュレーションの窓口にできる点が魅力です。ただし、操作に即応するには生成が速くなければならず、画面の一貫性を保つには、すでに描いた内容をモデルが覚えている必要があります。

現在主流のチャンク型動画拡散モデルは、この履歴を KV cache に蓄えます。KV cache はロールアウトとともに増え続けるため、後半のチャンクほど処理が遅くなります。今回の論文が狙うのは、まさにこのボトルネックです。

提案された Velox は、学習不要の attention ルーターです。ストリーミング幾何から得たカメラ視錐台スライスの対応関係を使い、領域単位で参照する文脈を選びます。48 番目のチャンクで attention は 4.36 倍、ノイズ除去は 2.43 倍高速化しました。158 件すべての WBench ナビゲーションテストでは、密な LingBot-Fast-Cam との API-free 平均スコア差が 0.15 以内に収まっています。

深掘り分析

Velox の仕組みは四つの段階に分けられます。第一に、過去の各チャンクを深度区間付きのカメラ視錐台スライスで表現します。スライスは、そのチャンクが三次元空間のどの範囲をおおよそ覆っていたかを記録します。第二に、現在のチャンクの深度は recency-priority multiwarp で求めます。履歴の深度を現在の視点へ warp し、新しい履歴を優先する方式です。 第三に、スライス同士の重なり度を使い、モデルが各層で自ら算出するブロック重要度を柔らかく調整します。置き換えではなく調整なので、モデル本来の判断は残ります。第四に、履歴がカバーしていない領域には幾何的バイアスを加えず、モデル自身のルーティングをそのまま使います。幾何情報が信頼できるときだけ介入し、そうでなければ元の挙動に戻る設計です。 なぜ Velox はルーティングの粒度を token block に合わせているのでしょうか。理由は、FlashAttention 式のタイル実行と粒度を揃えるためです。ルーターが GPU カーネルの処理単位と同じ大きさで判断するので、不要なブロックを実際に読み飛ばせます。粒度がずれていれば、削減できたはずの計算が GPU 上で実現しません。こうして、ロールアウトの長さとともに増える attention のコストを削ります。

スライスの構築は、同じ H200 上でノイズ除去と非同期に実行されます。幾何計算の負担がノイズ除去の時間に隠れるため、生成を余分に遅らせません。 二つの速度の数字に差がある理由も明快です。ノイズ除去には、履歴の長さに比例して増えない計算も含まれます。そのため、全体での 2.43 倍は attention 単体の 4.36 倍より小さくなります。

業界への影響

長文脈の高速化手法には、汎用的なスパース化や圧縮に頼るものが多くあります。Velox が使うのは世界モデル特有の構造です。シーンには三次元の幾何があり、カメラには位置があり、過去の内容は現在の視点と明確な空間的関係を持ちます。attention スコアや時間的な近さだけで選ぶより、空間メモリで見る場所を決めるほうが根拠は確かです。

実装面でも扱いやすい手法です。学習が不要で、モデルの重みを変えず、タイル型の attention カーネルとも噛み合います。すでに学習済みの動画世界モデルが、低コストで長いロールアウトを速く回せる可能性があります。リアルタイムのインタラクティブシミュレーション、ゲーム的なシーン、身体性エージェントの学習環境を作るチームにとって、長くなるほど遅くなる問題は現実の障害です。Velox はそこを直接狙っています。

非同期設計も参考になります。幾何を計算する補助モジュールを本体の隣で動かせば、そのコストをパイプラインで隠せます。他の外付けルーターを設計する際にも使える考え方です。品質面では、158 件のナビゲーションで平均スコア差が 0.15 以内という結果から、多くの過去ブロックを省いてもナビゲーション性能の損失は小さいと読み取れます。

今後の展望

いくつか注意すべき点があります。まず、元の要旨には アブレーションの詳細がありません。視錐台スライス、multiwarp、柔らかい調整のそれぞれがどれだけ寄与するかは、ここでは判断できません。詳しくは論文やプロジェクトページを確認する必要があります。また、速度の数字は H200 上でスライス構築を非同期に行った条件での測定です。別のハードウェアでは効果が変わる可能性があります。

この手法は、ストリーミング幾何が出す深度に依存します。深度が誤っているときの頑健性や、48 チャンクをはるかに超える長いロールアウトでの挙動は、まだ未解決の問いです。後続研究の自然な課題といえます。

それでも方向性は明確です。動画世界モデルが対話的な用途へ進むほど、チャンクごとのメモリコストは最優先の課題になります。Velox は、パイプラインにすでにある幾何情報で attention を導けることを示しました。48 番目のチャンクでノイズ除去の時間を半分以下に抑えながら、ナビゲーションのスコアを密なベースラインに近く保てた点は、今後の設計の手がかりになります。