DreamTrue : un modèle de monde robotique fidèle aux actions grâce au post-entraînement contrefactuel

Un modèle de monde robotique sert à laisser une politique répéter son geste avant de toucher le matériel réel. À partir de l'observation courante et d'une suite d'actions prévues, il prédit ce qui va se passer. L'idée est simple, la réalisation est difficile. Les générateurs vidéo savent produire des images vraisemblables, alors qu'un robot a besoin de prédictions fidèles aux commandes envoyées. DreamTrue, signé notamment par Junyan Li, Ruizhi Li, Yu Liu, Xiangshuo Liu, Mingchao Sun, Hongyu Pan, Mu Xu, Lue Fan et Zhaoxiang Zhang, a été publié sur arXiv le 8 octobre 2026 sous la référence 2610.12468. Il décrit un modèle de monde multi-vues et inter-corps robotiques, visant deux qualités : la fidélité aux actions et la plausibilité physique. La première exige que les images générées suivent de près les actions demandées. La seconde exige que les contacts, les saisies et les collisions ressemblent à de la vraie physique. Sans les deux, le modèle n'est qu'un lecteur vidéo élégant, incapable de remplacer l'environnement réel pour évaluer ou entraîner une politique.

Les auteurs identifient deux obstacles lorsqu'on entraîne ce type de modèle sur les jeux de données robotiques existants. Le premier est un calibrage imprécis. Pour aligner une trajectoire d'actions avec les pixels, il faut connaître la géométrie qui relie les caméras au bras. Si elle est légèrement fausse, la correspondance apprise entre action et image l'est aussi, et le modèle suit mal les ordres. Le second obstacle est la rareté des interactions qui échouent. Les jeux publics contiennent surtout des démonstrations réussies. Les saisies manquées, les objets qui glissent et les chutes y sont rares. Le modèle développe alors un biais optimiste : quelle que soit l'action reçue, il tend à représenter une issue favorable. Ce biais est dangereux pour la planification et l'évaluation, car un modèle de monde qui n'a jamais vu d'échec ne peut pas prévenir la politique qu'un geste va faire tomber la tasse. Séparer ces deux problèmes est déjà une contribution utile : l'un concerne la précision de la condition d'action, l'autre le réalisme du résultat de l'interaction.

Pour le premier obstacle, DreamTrue convertit les trajectoires d'actions en conditions dans l'espace image et applique un calibrage géométrique hors ligne afin que ces conditions s'alignent sur les vidéos cibles. Autrement dit, l'action n'est pas donnée au réseau comme une liste abstraite de valeurs articulaires. Elle est dessinée dans la vue de la caméra, de sorte que le modèle voit, au niveau des pixels, où l'effecteur va se rendre. Cette conception a deux avantages. Les définitions d'articulations varient beaucoup d'un robot à l'autre, et une représentation dans l'espace image gomme ces écarts, ce qui facilite l'entraînement sur plusieurs corps robotiques. Le calibrage hors ligne corrige aussi l'erreur géométrique une fois pour toutes avant l'entraînement, sans obliger le réseau à la deviner. La configuration multi-vues ajoute une contrainte de cohérence tridimensionnelle et réduit l'ambiguïté d'une caméra unique. L'article rapporte un suivi d'actions de pointe sur AgiBot. Le résumé ne donne pas de score chiffré pour cette affirmation : pour les valeurs exactes, il faut consulter le texte complet.

Pour le second obstacle, l'article introduit le post-entraînement contrefactuel. L'équipe modifie des trajectoires enregistrées et demande au modèle de générer les vidéos futures que ces nouvelles actions produiraient. Cela élargit la gamme d'actions et de configurations de contact observées. La logique est limpide. Personne n'enregistre une démonstration où la pince se ferme dans le vide à côté d'un objet, mais un modèle de monde doit savoir à quoi cela ressemble. En réécrivant les trajectoires sous la forme « et si le bras avait bougé ainsi », la distribution d'entraînement passe des démonstrations réussies aux cas limites et aux échecs. Une difficulté nouvelle apparaît : ces futurs générés n'ont pas de vidéo de référence, alors comment les juger ? Les auteurs construisent un jeu de vidéos annotées par des humains, couvrant les défauts du robot, de l'objet et de l'interaction, puis entraînent un modèle de récompense vidéo incarné. Ce modèle n'exige aucun futur réel apparié. Il évalue si un clip montre des objets qui disparaissent, des membres qui traversent la matière ou des saisies impossibles. Ses scores guident ensuite un post-entraînement par apprentissage par renforcement vers des résultats plus plausibles physiquement.

Le résultat principal est frappant : le taux de défauts d'interaction, évalué par des humains, passe de 48,12 % à 6,25 %. Avant le post-entraînement, près de la moitié des sorties présentaient un défaut visible ; ensuite, environ une sur seize. DreamTrue se classe aussi premier de la piste modèles de monde de l'AgiBot World Challenge 2026. Il faut lire ces chiffres avec mesure. Le taux de défauts provient d'une évaluation humaine, et le résumé ne précise ni les critères d'annotation, ni la taille de l'échantillon, ni le nombre d'évaluateurs. La solidité des bases de comparaison reste à vérifier dans l'article. La leçon méthodologique est néanmoins nette. D'abord, le goulot d'étranglement des modèles de monde passe de la qualité d'image à la fidélité causale, et les métriques doivent se centrer sur le suivi d'actions et les défauts d'interaction. Ensuite, données contrefactuelles, modèle de récompense appris et apprentissage par renforcement forment une boucle sans étiquettes de futur réel, comparable au RLHF des modèles de langage, appliqué à l'interaction physique. Enfin, un modèle assez fiable pourrait servir de simulateur peu coûteux pour entraîner et évaluer des politiques. Restent ouvertes les questions des angles morts du modèle de récompense, de la couverture des annotations humaines et de la généralisation hors distribution.