Velox: Raumgedächtnis beschleunigt Video-Weltmodelle

Hintergrund

Video-Weltmodelle verwandeln Aktionen und Kamerabewegungen in lange visuelle Rollouts. Dadurch wird Video zu einer natürlichen Schnittstelle für interaktive Simulation. Interaktivität verlangt schnelle Generierung. Visuelle Konsistenz verlangt, dass sich das Modell an bereits Gezeichnetes erinnert. Blockweise Video-Diffusionsmodelle, das heute gängige Design, legen diese Historie in einem KV-Cache ab, der mit jedem Chunk wächst.

Das Ergebnis ist ein einfaches und teures Muster. Je länger der Rollout, desto größer der Cache, und desto langsamer wird jeder spätere Chunk. Eine Arbeit zu Velox nimmt genau diesen Engpass ins Visier. Velox ist ein trainingsfreier Attention-Router. Er wählt den Kontext auf Regionsebene aus. Grundlage sind Zuordnungen von Frustum-Schnitten, die aus Streaming-Geometrie abgeleitet werden.

Die Kernidee: Das Raumgedächtnis kann dem Modell sagen, welche vergangenen Chunks für die gerade gezeichnete Region zählen. Nicht jeder historische Chunk muss in die Rechnung eingehen. Die Autoren berichten, dass beim 48. Chunk die Attention 4,36-mal und das Entrauschen 2,43-mal schneller läuft. Im vollständigen WBench-Navigationstest mit 158 Fällen liegt der API-freie Durchschnittswert höchstens 0,15 unter dem der dichten Basislinie LingBot-Fast-Cam.

Tiefenanalyse

Die Methode arbeitet in mehreren Schritten. Erstens stellt Velox jeden vergangenen Chunk als Kamera-Frustum-Schnitt mit Tiefenintervall dar. Der Schnitt hält grob fest, welchen Bereich des dreidimensionalen Raums dieser Chunk abdeckte. Zweitens wird die Tiefe des aktuellen Chunks per Recency-Priority-Multiwarp gewonnen. Dabei wird historische Tiefe in die aktuelle Ansicht projiziert, und neuere Historie hat Vorrang. Drittens moduliert die Überlappung der Schnitte weich die Blockwichtigkeit, die das Modell in jeder Schicht ohnehin berechnet. Es handelt sich um Modulation, nicht um Ersatz. Das Urteil des Modells bleibt also erhalten. Viertens erhalten Regionen, die die Historie nicht abdeckt, keinen geometrischen Bias, und das modelleigene Routing greift. Die Geometrie greift nur dort ein, wo sie verlässlich ist. Sonst fällt das System auf das ursprüngliche Verhalten zurück.

Warum nutzt Velox eine Token-Block-Granularität für das Routing? Die Routing-Granularität von Velox passt zur FlashAttention-artigen Kachelausführung. Weil der Router in derselben Blockgröße entscheidet, in der der Kernel arbeitet, kann der Kernel nicht benötigte Blöcke tatsächlich überspringen. So sinkt der Teil des Attention-Aufwands, der mit der Rollout-Länge wächst. Eine gröbere oder feinere Einheit würde die eingesparte Arbeit auf der GPU nicht realisieren. Der Aufbau der Schnitte läuft zudem asynchron zum Entrauschen auf derselben H200. Der Geometrieaufwand verschwindet in der Entrauschzeit und verzögert die Generierung nicht zusätzlich. Die gesamte Methode braucht kein Training und lässt die Modellgewichte unverändert. Die beiden Beschleunigungswerte unterscheiden sich aus einem klaren Grund. Das Entrauschen enthält weitere Berechnungen neben der Attention, die nicht mit der Historie wachsen. Darum fällt der Gesamtgewinn von 2,43 geringer aus als der reine Attention-Gewinn von 4,36. Der 48. Chunk ist ein aufschlussreicher Messpunkt, denn die Historie ist dort lang und die dichte Attention am stärksten belastet.

Branchenwirkung

Viele Beschleuniger für lange Kontexte setzen auf allgemeine Sparsifizierung oder Kompression. Velox nutzt dagegen eine Struktur, die nur Weltmodelle haben: Szenen besitzen 3D-Geometrie, Kameras haben Posen, und vergangene Inhalte stehen in einer klaren räumlichen Beziehung zur aktuellen Ansicht. Die Entscheidung, wohin das Modell schaut, auf das Raumgedächtnis zu stützen, ist besser begründet als eine Auswahl allein nach Attention-Wert oder Aktualität.

Auch das Ingenieursprofil ist günstig. Die Methode ist trainingsfrei, lässt die Gewichte unberührt und passt zu gekachelten Attention-Kerneln. Ein bereits trainiertes Video-Weltmodell könnte so zu geringen Kosten schnellere lange Rollouts erhalten. Für Teams, die Echtzeit-Simulation, spielähnliche Szenen oder Trainingsumgebungen für verkörperte Agenten bauen, ist ein Rollout, der mit der Länge langsamer wird, ein praktisches Hindernis. Velox zielt genau darauf.

Das asynchrone Design liefert eine zweite Lehre. Ein Zusatzmodul, das Geometrie neben dem Hauptmodell berechnet, kann seine Kosten per Pipelining verbergen. Entwickler anderer aufgesetzter Router können dieses Muster wiederverwenden. Das Qualitätsergebnis, eine Differenz von höchstens 0,15 beim API-freien Durchschnitt über 158 Navigationsfälle, deutet darauf hin, dass das Überspringen vieler vergangener Blöcke die Navigationsleistung kaum kostet.

Ausblick

Einige Grenzen verdienen Beachtung. Die Quellenzusammenfassung nennt keine Ablationsdetails. Die einzelnen Beiträge von Frustum-Schnitten, Multiwarp und weicher Modulation lassen sich daher hier nicht beurteilen. Wer sie kennen will, sollte die Arbeit oder die Projektseite konsultieren. Die Geschwindigkeitswerte wurden außerdem auf einer H200 mit asynchronem Schnittaufbau gemessen. Auf anderer Hardware können die Gewinne abweichen.

Die Methode hängt zudem von der Tiefe aus der Streaming-Geometrie ab. Wie robust Velox bei fehlerhafter Tiefe bleibt, ist offen. Dasselbe gilt für das Verhalten bei Rollouts, die deutlich länger sind als 48 Chunks. Das sind naheliegende Richtungen für Folgearbeiten.

Die Richtung ist dennoch klar. Je stärker Video-Weltmodelle in den interaktiven Einsatz wandern, desto wichtiger wird der Speicherbedarf pro Chunk. Velox zeigt, dass Geometrie, die in der Pipeline schon vorliegt, die Attention lenken kann. Beim 48. Chunk senkt das den Aufwand des Entrauschens um mehr als die Hälfte, während die Navigationswerte nah an der dichten Basislinie bleiben.