Velox : mémoire spatiale pour modèles du monde vidéo

Contexte

Les modèles du monde vidéo transforment des actions et des mouvements de caméra en longs déroulés visuels. La vidéo devient ainsi une interface naturelle pour la simulation interactive. Cette interactivité exige une génération rapide. La cohérence visuelle, elle, exige que le modèle se souvienne de ce qu'il a déjà dessiné. Les modèles de diffusion vidéo par blocs, conception dominante aujourd'hui, conservent cet historique dans un KV cache qui grandit à chaque nouveau bloc.

Le résultat est un schéma simple et coûteux. Plus le déroulé est long, plus le cache est volumineux, et plus chaque bloc tardif devient lent. Un article consacré à Velox s'attaque précisément à ce goulot d'étranglement. Velox est un routeur d'attention sans entraînement. Il choisit le contexte au niveau des régions, grâce à des correspondances de tranches de frustum issues d'une géométrie obtenue en flux continu.

L'idée centrale est que la mémoire spatiale peut indiquer au modèle quels blocs passés comptent pour la zone qu'il dessine. Tous les blocs historiques n'ont pas besoin de participer au calcul. Les auteurs rapportent qu'au 48e bloc, l'attention est 4,36 fois plus rapide et le débruitage 2,43 fois. Sur les 158 cas de navigation WBench, le score moyen API-free reste à 0,15 au plus de celui du modèle dense LingBot-Fast-Cam.

Analyse approfondie

La méthode procède en quelques étapes. D'abord, Velox représente chaque bloc passé par une tranche de frustum de caméra, dotée d'un intervalle de profondeur. Cette tranche note approximativement quelle région de l'espace tridimensionnel le bloc a couverte. Ensuite, la profondeur du bloc courant s'obtient par multiwarp à priorité de récence : la profondeur historique est projetée vers la vue actuelle, les données les plus récentes l'emportant. Troisièmement, le chevauchement des tranches module en douceur l'importance de bloc que le modèle calcule déjà dans chaque couche. Il s'agit d'une modulation, non d'un remplacement : le jugement propre du modèle est conservé. Quatrièmement, les zones que l'historique ne couvre pas ne reçoivent aucun biais géométrique, et le routage natif s'applique. La géométrie n'intervient que là où elle est fiable. Ailleurs, le système revient au comportement d'origine.

Pourquoi Velox route-t-il l'attention à la granularité du bloc de tokens ? La granularité du routage de Velox s'aligne sur l'exécution par tuiles de type FlashAttention. Comme le routeur décide à la taille de bloc que le noyau traite, celui-ci peut réellement sauter les blocs inutiles. On réduit ainsi la part du coût d'attention qui croît avec la longueur du déroulé. Une unité plus grossière ou plus fine laisserait le gain inexploité sur le GPU. La construction des tranches s'exécute aussi en parallèle du débruitage, sur le même H200. Le coût géométrique se cache dans le temps de débruitage et n'ajoute aucun délai à la génération. L'ensemble ne demande aucun entraînement et laisse les poids du modèle intacts. Les deux gains de vitesse diffèrent pour une raison claire. Le débruitage comporte des calculs hors attention qui ne croissent pas avec l'historique, d'où un gain de bout en bout de 2,43 fois, inférieur aux 4,36 fois de l'attention seule. Le 48e bloc est un point d'observation révélateur : l'historique y est long et l'attention dense y souffre le plus.

Impact sur l'industrie

Beaucoup d'accélérateurs de contexte long reposent sur une sparsification ou une compression génériques. Velox exploite au contraire une structure propre aux modèles du monde : les scènes ont une géométrie 3D, les caméras ont une pose, et le contenu passé entretient un rapport spatial précis avec la vue actuelle. Décider où regarder grâce à la mémoire spatiale est mieux fondé que de trancher selon le seul score d'attention ou la seule récence.

Le profil d'ingénierie est aussi favorable. La méthode ne demande pas d'entraînement, ne touche pas aux poids et s'accorde avec les noyaux d'attention par tuiles. Un modèle du monde vidéo déjà entraîné pourrait donc gagner en vitesse sur les longs déroulés, à faible coût. Pour les équipes qui conçoivent de la simulation interactive en temps réel, des scènes de type jeu ou des environnements d'entraînement pour l'IA incarnée, un déroulé qui ralentit en s'allongeant est un obstacle concret. Velox vise cet obstacle.

La conception asynchrone offre une seconde leçon. Un module auxiliaire qui calcule la géométrie à côté du modèle principal voit son coût masqué par le pipeline. Les concepteurs d'autres routeurs greffés peuvent reprendre ce schéma. Quant au résultat de qualité, un écart d'au plus 0,15 sur le score moyen API-free pour 158 cas de navigation, il suggère que sauter de nombreux blocs passés coûte peu en performance de navigation.

Perspectives

Plusieurs limites méritent l'attention. Le résumé source ne donne aucun détail d'ablation. On ne peut donc pas juger ici la contribution propre des tranches de frustum, du multiwarp et de la modulation douce : il faut consulter l'article ou sa page de projet. Les vitesses ont par ailleurs été mesurées sur un H200, avec une construction des tranches asynchrone. Un autre matériel pourrait donner d'autres gains.

La méthode dépend aussi de la profondeur fournie par la géométrie en flux continu. Sa robustesse face à une profondeur erronée reste une question ouverte, tout comme son comportement sur des déroulés bien plus longs que 48 blocs. Ce sont des pistes naturelles pour des travaux ultérieurs.

La direction reste pourtant nette. À mesure que les modèles du monde vidéo gagnent des usages interactifs, le coût mémoire par bloc devient une préoccupation de premier plan. Velox montre que la géométrie déjà présente dans la chaîne peut guider l'attention, et que cela peut réduire de plus de moitié la latence de débruitage au 48e bloc, tout en gardant des scores de navigation proches de ceux du modèle dense.