Ropedia W0 : modèle du monde locomotion-manipulation

Contexte

Un modèle du monde permet à un agent incarné de prédire les conséquences de ses actions avant d'agir. Ropedia W0 s'attaque à une version exigeante de ce problème : modéliser dans un même système la marche et la manipulation, pour des humains comme pour plusieurs corps de robots. Les auteurs le présentent comme le premier modèle de fondation du monde en vue subjective dédié à la loco-manipulation, couvrant les humains et plusieurs robots.

Le texte source cite deux obstacles. D'abord, les espaces d'actions diffèrent d'un corps à l'autre : degrés de liberté et interfaces de contrôle varient, si bien qu'un entraînement sur un simple mélange peine à dégager une dynamique commune. Ensuite, les données supervisées sont rares. Un échantillon utile exige une vidéo à la première personne et des annotations d'actions multimodales alignées, et les jeux de données qui réunissent les deux sont restés modestes.

Les contributions se répartissent en quatre blocs : Xp-Data, un grand jeu de données aux annotations unifiées ; une représentation cinématique unique pour la locomotion et la manipulation ; Xp-Teleop, un benchmark à long horizon ; enfin un modèle distillé capable de tourner en temps réel. Le pari central est simple. Les vidéos humaines en vue subjective sont nombreuses et couvrent des scènes variées. Si le mouvement de l'humain et celui du robot partagent une même représentation, l'expérience humaine peut se transférer aux robots.

Analyse approfondie

Comment Ropedia W0 représente-t-il les actions des humains et des robots ? Le modèle utilise la pose de caméra pour coder la locomotion et un squelette projeté pour coder la manipulation. En vue subjective, le déplacement du corps se traduit par celui de la caméra : la pose de caméra capte donc la marche. La posture des mains et des bras est projetée dans l'image sous forme de squelette, ce qui décrit la manipulation. Les deux types de mouvement vivent alors dans le même espace visuel, et l'écart entre espaces d'actions cesse de bloquer l'entraînement conjoint. Les squelettes proviennent de sources différentes selon le corps. Chez l'humain, ils peuvent venir directement de l'annotation. Chez le robot, les auteurs combinent la cinématique directe propre à chaque corps avec un important travail d'annotation et de correction manuelles de points clés. La cinématique donne la forme de base du squelette, puis la correction manuelle comble les erreurs restantes. Cette étape compte, car un modèle du monde réagit mal aux annotations bruitées : si actions et images sont décalées, il apprend une mauvaise causalité. Xp-Data fournit la matière première : 10 000 heures de données humaines en vue subjective et 3 000 heures de données robotiques, avec des annotations multimodales unifiées et un contrôle qualité systématique. L'entraînement se déroule en deux temps. Le pré-entraînement sur les données humaines apprend les relations générales entre actions et images. Le post-entraînement adapte ensuite le modèle à un robot précis, en few-shot ou avec l'ensemble des données. Une dernière étape de distillation porte la vitesse d'inférence au temps réel. L'évaluation couvre cinq benchmarks multi-corps : DreamDojo, Ψ0, ω-HOME, Xp-Teleop et AgiBot, auxquels s'ajoutent des vidéos humaines à la première personne mises de côté. Les réglages vont du zéro-shot au post-entraînement complet, en passant par le few-shot. Les auteurs rapportent l'état de l'art sur l'ensemble. Xp-Teleop est nouveau dans cet article. Construit à partir de données de téléopération d'humanoïdes dextres, il propose des tâches à long horizon qui combinent marche et manipulation. De telles tâches mettent en évidence la dérive sur de longues séquences mieux que des tests sur de courts extraits.

Un résultat se détache. Augmenter les données humaines de pré-entraînement améliore à la fois les évaluations humaines et les évaluations robotiques. Ce constat soutient directement l'hypothèse centrale : l'expérience humaine peut nourrir les modèles du monde robotiques.

Impact sur l'industrie

Ce travail ouvre une voie pour contourner la pénurie de données robotiques. Collecter des données sur robot est lent et coûteux. Les vidéos humaines en vue subjective, elles, se recueillent à bien plus grande échelle. Si une représentation commune transforme ces vidéos en compétence robotique, l'équilibre des coûts de collecte change. Le gain observé sur les évaluations robotiques grâce à davantage de données humaines est l'élément qui appuie cet argument. Le traitement conjoint de la marche et de la manipulation correspond aussi aux besoins des robots humanoïdes, qui doivent se déplacer et agir avec les mains dans une même tâche. Un modèle qui ne traite que l'un des deux laisse un vide en pratique. W0 vise les deux à travers une seule représentation, et Xp-Teleop offre un moyen de vérifier les tâches longues. Le modèle distillé pourrait compter le plus pour l'usage concret. Il permet des rollouts en temps réel de plusieurs minutes, ce qui rend possible l'interaction en VR. Les auteurs montrent aussi trois applications : l'évaluation de politiques, la planification fondée sur un modèle et la modélisation monde-action. Évaluer une politique dans un modèle du monde peut réduire le nombre d'essais sur robot réel. Planifier dans le modèle permet de comparer des actions candidates en imagination. L'accès en VR laisse enfin les personnes inspecter directement les prédictions.

Pour la communauté de recherche, la méthode de construction de Xp-Data, son contrôle qualité et le benchmark Xp-Teleop pourraient servir de références aux travaux multi-corps à venir.

Perspectives

Plusieurs questions restent ouvertes à partir des éléments disponibles. La stabilité à long terme des rollouts de plusieurs minutes demande davantage de tests, car de petites erreurs peuvent s'accumuler. La couverture d'autres corps de robots constitue un autre test de la représentation unifiée : les cinq benchmarks et les vidéos humaines mises de côté montrent une certaine largeur, mais chaque nouveau corps doit encore être ramené à la forme pose de caméra plus squelette projeté.

Le lien avec les boucles de contrôle réelles doit aussi être mieux démontré. L'article présente l'évaluation de politiques, la planification et la modélisation monde-action. Or un modèle qui prédit bien n'est utile que si ses prédictions tiennent lorsqu'un robot agit en boucle fermée. La source ne donne pas de détails sur ce point : toute affirmation sur un déploiement réel doit donc rester prudente.

Ropedia W0 fait néanmoins avancer les modèles du monde multi-corps sur trois points concrets. Il unifie la représentation des actions, il porte les données à 10 000 heures humaines et 3 000 heures robotiques, et il atteint le temps réel après distillation. Le résultat à suivre est l'effet bénéfique de davantage de données humaines sur l'évaluation robotique. Si des travaux ultérieurs le confirment sur plus de corps et des tâches plus longues, la vidéo humaine à la première personne pourrait devenir une source d'entraînement standard pour les modèles du monde robotiques.