Dex-One2Many : apprendre la manipulation dextre à partir d'une seule démonstration humaine

La manipulation dextre est l'un des problèmes les plus difficiles de l'IA incarnée. Une main à plusieurs doigts possède de nombreux degrés de liberté et des contacts complexes. Une seule tâche se découpe souvent en plusieurs étapes : saisir un outil, ajuster la prise, puis utiliser l'outil sur un autre objet. La voie classique pour enseigner cela à un robot est la téléopération, où un humain pilote la machine et le système enregistre la démonstration. Ces données coûtent cher, restent rares et couvrent mal la variété des positions d'objets et des prises que le robot rencontrera. C'est pourquoi de nombreux chercheurs se tournent vers la vidéo humaine : filmer une personne qui accomplit la tâche ne coûte presque rien. La vraie difficulté est de transformer une seule vidéo en une politique que le robot peut exécuter et qui reste valable quand la situation change.

La réponse la plus courante consiste à imiter le mouvement : on transpose la trajectoire de la main sur la main robotique et on la reproduit aussi fidèlement que possible. Les auteurs de Dex-One2Many décrivent sans détour la faiblesse de cette approche dans leur résumé. Une correspondance stricte des mouvements limite la généralisation. Si la pose initiale de l'objet change, si la pose cible change, ou si la tâche exige une prise absente de la vidéo, une politique attachée à une trajectoire échoue facilement. L'autre voie est l'apprentissage par renforcement pur. Il généralise largement, mais sans guidage l'exploration est très inefficace dans un espace d'actions de grande dimension et sur une tâche à étapes multiples. L'agent peut ne jamais dépasser la première étape. Les deux problèmes sont liés : l'imitation ne résout pas le premier, le renforcement nu ne résout pas le second.

L'idée centrale de l'article est de changer le niveau d'abstraction. Au lieu d'enregistrer le chemin exact suivi par la main, la méthode résume la vidéo en une suite de graphes de scène, un par étape. Un graphe de scène décrit des relations : quel objet est tenu, quels objets se touchent, où se trouve un objet par rapport à un autre. On peut le voir comme un cahier des charges qui liste des conditions sans donner de coordonnées. Il dit ce qui doit être vrai à chaque étape et laisse à la politique le soin de découvrir comment y parvenir. Comme le graphe contraint des relations et non des poses exactes, il admet naturellement une grande famille de configurations concrètes. C'est ce qui permet à un même graphe de jouer deux rôles. Le premier rôle est celui de contrainte générative. À partir des graphes, le système échantillonne des états de départ variés, qui couvrent des poses d'objets et des prises bien au-delà de celles montrées dans la vidéo. Le second rôle est celui de concepteur de récompense. Pour chaque étape, le graphe fournit une récompense dense qui indique à l'apprenant la distance entre l'état courant et l'objectif de l'étape. Ensemble, ces deux rôles attaquent directement le problème d'exploration. Une tâche à étapes multiples pénalise l'exploration depuis zéro, car la politique doit réussir de nombreux pas d'affilée avant de voir une récompense finale. Dex-One2Many évite cet écueil : chaque étape démarre d'un état échantillonné et reçoit une récompense dense, si bien que chaque phase d'exploration est courte et orientée. Les états de départ provenant de contraintes relationnelles et non d'une seule démonstration, les poses et les prises rencontrées sont variées dès le début.

L'entraînement se déroule entièrement en simulation. L'expression real-to-sim-to-real décrit la chaîne : construire une scène simulée à partir de la vidéo réelle, apprendre en simulation, puis transférer la politique sans réglage supplémentaire vers une vraie main multi-doigts. Aucune démonstration de robot n'est utilisée. La vidéo apporte la structure de la tâche, et l'apprentissage par renforcement affine les détails du mouvement dans le simulateur. Cette répartition a un avantage pratique : l'écart entre la main humaine et la main robotique, source d'erreur de transposition dans les méthodes d'imitation, ne se propage pas directement à la politique finale. L'évaluation porte sur cinq tâches d'utilisation d'outils et de manipulation. Sur les configurations connues, celles qui correspondent à la vidéo, la méthode dépasse les références de 6,5 %. L'écart est modeste et montre que les références ne sont pas faibles en conditions familières. Le chiffre marquant concerne les scénarios inédits : lorsque les poses d'objets, les poses cibles et les prises s'éloignent de la démonstration, l'écart atteint 71 %. Ce contraste soutient l'argument de l'article. L'imitation stricte tient près de la démonstration et se dégrade vite en s'en éloignant, alors que l'abstraction au niveau des relations préserve la généralisation. Les deux chiffres répondent d'ailleurs à des questions différentes : le premier mesure l'écart de réussite en conditions familières, le second la robustesse face à un changement hors distribution, qui est la question réellement posée par ce travail.

Plusieurs réserves s'imposent. Ces chiffres proviennent du résumé d'un préprint arXiv. La composition exacte des références, la répartition de la difficulté entre les cinq tâches et le nombre d'essais sur robot réel exigent la lecture de l'article complet, et il faut éviter d'extrapoler. Le résumé ne précise pas non plus si les graphes de scène sont extraits automatiquement ou corrigés à la main, un choix qui pèse directement sur le passage à l'échelle. L'écart entre simulation et réalité dépend encore de la qualité de la reconstruction de la scène et du modèle physique. Enfin, il reste à montrer qu'un découpage en étapes tient sur des tâches plus longues et plus ouvertes que les cinq présentées. Pour l'industrie, l'intérêt de ce travail est d'offrir un chemin moins coûteux autour du goulot d'étranglement des données : une vidéo humaine et un simulateur peuvent suffire à entraîner une politique qui fonctionne sur une vraie main. L'article suggère aussi un principe de conception plus général : entre démonstration et exploration, le niveau d'abstraction compte davantage que la quantité de données. Exprimer le savoir préalable sous forme de contraintes relationnelles n'enferme pas la politique comme le fait l'imitation de trajectoire, et ne laisse pas l'exploration au hasard comme le fait le renforcement brut. Décrire une démonstration humaine par des relations plutôt que par des trajectoires est une piste que les équipes de robotique dextre auraient intérêt à suivre de près.