WorldAlign : une récompense 4D découplée pour une génération vidéo cohérente avec le monde

La génération vidéo a surtout progressé sur un seul axe : paraître réelle. Les textures sont plus fines, l'éclairage plus doux, les mouvements de caméra plus stables. Mais la question change dès que l'on utilise ces modèles comme simulateurs du monde, pour répéter des tâches de robotique, construire des scènes de jeu ou entraîner des agents incarnés. Un simulateur ne doit pas seulement bien paraître. Il doit respecter ses propres règles. Un mur vu d'un côté doit garder sa forme quand la caméra revient. Une personne qui marche dix secondes ne doit pas changer discrètement de visage ou de vêtements. L'article WorldAlign, signé Jing He, Kaixin Ding, Xingye Tian, Guibao Shen, Wenhang Ge et leurs collègues, nomme cette exigence la cohérence du monde en 4D. Les trois dimensions de l'espace doivent rester cohérentes, tout comme le mouvement et l'apparence le long du temps. La première part est la cohérence statique, la seconde la cohérence dynamique. L'article a été publié le 8 octobre 2026 dans la catégorie cs.CV.

Une voie naturelle pour améliorer cette cohérence est le post-entraînement sensible à la géométrie. Le générateur produit une vidéo. Un modèle géométrique estime la profondeur et la pose de la caméra, reprojette une image sur une autre et mesure l'erreur. Cette erreur devient une récompense pour ajuster le générateur. Cette voie a deux faiblesses connues. D'abord, elle suppose le plus souvent une scène statique. Quand une personne marche ou qu'une voiture roule, la reprojection prend le mouvement réel pour une erreur géométrique, et la récompense punit justement la dynamique dont une bonne vidéo a besoin. Ensuite, même les méthodes qui tolèrent les scènes dynamiques fournissent un retour peu fiable sur la cohérence statique, car pixels fixes et mobiles se mélangent dans une seule erreur. Quant à la cohérence dynamique, c'est-à-dire un mouvement plausible et une apparence stable dans le temps, elle est souvent ignorée ou mesurée par des indicateurs grossiers. L'idée centrale de WorldAlign est simple. Le contenu statique et le contenu dynamique obéissent à des hypothèses différentes, il ne faut donc pas les mesurer avec la même règle. Le cadre sépare d'abord l'image, de façon sémantique, en zones statiques et en sujets dynamiques. Chaque partie est ensuite alignée sur l'a priori du monde qui convient à ses hypothèses. Pour les zones statiques, l'a priori est géométrique. Une reprojection masquée, guidée par la sémantique, calcule l'alignement géométrique entre points de vue uniquement sur les pixels jugés statiques. Les sujets mobiles sont exclus, ce qui rend le retour plus net et plus fiable. Les auteurs ajoutent un correctif pratique. Une récompense purement géométrique offre un raccourci : si la vidéo bouge à peine, l'erreur de reprojection reste faible, et l'optimiseur le découvre. Une récompense auxiliaire de mouvement de caméra pénalise donc les solutions quasi figées et force un vrai changement de point de vue tout en gardant la géométrie cohérente. C'est une défense classique contre le détournement de récompense, et un rappel : tout indicateur calculable unique sera exploité par un optimiseur puissant.

Pour les sujets dynamiques, la géométrie ne sert à rien. La plausibilité d'un mouvement relève du bon sens et de la physique, pas de la géométrie. Les auteurs emploient un modèle vision-langage puissant comme a priori dynamique du monde et lui confient le rôle de juge. Le choix clé est la liste de contrôle propre à chaque échantillon. Pour chaque vidéo générée, le système formule des questions concrètes et les note une à une selon quatre aspects : la dynamicité, la plausibilité physique, la cohérence de forme et la cohérence de texture. La dynamicité demande si ce qui doit bouger bouge vraiment. La plausibilité physique demande si les actions respectent la gravité, le contact et l'inertie. La forme et la texture vérifient si un sujet se déforme ou change d'aspect au fil du temps. Une liste de contrôle vaut mieux qu'une note vague : elle ancre le juge sur des preuves précises et rend la récompense plus facile à inspecter. Surtout, rien de tout cela ne demande d'annotations de préférence humaines. Les deux récompenses viennent d'a priori, ce qui permet un post-entraînement en ligne et réduit le coût des données.

L'article teste la méthode sur deux générateurs image-vers-vidéo préentraînés, Wan2.1 et Wan2.2. Il rapporte que WorldAlign améliore ensemble la cohérence statique et dynamique, sans réduire le mouvement global ni celui des sujets. Ce dernier point compte. Dans la littérature, de nombreux gains de cohérence viennent d'une vidéo plus terne, et une méthode qui gagne en figeant la scène ne gagne rien. À partir du seul résumé, on ne voit ni les chiffres exacts, ni le détail des ablations, ni le coût de calcul. Il faut consulter l'article complet et la page du projet, worldalign.github.io. Plusieurs questions restent ouvertes. Un juge VLM a ses biais et son instabilité, et la récompense ne peut pas valoir mieux que lui. Si la segmentation sémantique confond zones statiques et dynamiques, la reprojection masquée injecte du bruit. Les a priori géométriques peuvent aussi échouer sur les surfaces réfléchissantes ou transparentes et sous des points de vue extrêmes. Le principe n'en reste pas moins précieux. Quand un monde se compose de parties de natures différentes, la récompense doit être découpée selon les mêmes lignes, et chaque partie alignée sur un a priori adapté. Cette idée pourrait s'étendre aux vidéos plus longues, aux interactions entre plusieurs sujets, et à terme à une simulation visuelle du monde sur laquelle les ingénieurs peuvent compter. Pour les équipes qui construisent des modèles vidéo, la leçon pratique est d'auditer leurs récompenses à la recherche d'hypothèses cachées, comme celle d'une scène statique, et de protéger chaque terme contre la façon la plus économique de le satisfaire.