SpatialHarness : un échafaudage spatial au moment du test pour la manipulation robotique fine

Les modèles de fondation multimodaux de pointe, tels que GPT-6 Astra, ont récemment montré un réel potentiel pour piloter directement un robot. Leurs performances s'effondrent pourtant dès que la tâche exige une manipulation fine : enficher une prise, aligner deux pièces, empiler des objets avec une tolérance de l'ordre du millimètre. L'explication habituelle est que la politique manque tout simplement de capacité, et les remèdes habituels en découlent : collecter davantage de démonstrations, affiner le modèle, ou passer à un socle plus puissant. L'article SpatialHarness propose un autre diagnostic. Selon les auteurs, une part importante des échecs ne vient pas d'une politique trop faible, mais d'une observabilité spatiale insuffisante. Les relations spatiales qui décident du succès, par exemple savoir si une fiche est coaxiale à sa prise ou si un disque a dépassé le sommet d'un piquet, peuvent être mal révélées par le dispositif de caméras physiques, voire masquées par le bras et les objets eux-mêmes. Un modèle ne peut pas raisonner sur ce qu'il ne voit pas, et il en va de même pour un technicien chevronné à qui l'on demande de travailler avec un œil couvert.

SpatialHarness répond à ce diagnostic par un harnais incarné fonctionnant au moment du test. Il n'affine pas la politique et ne modifie pas le dispositif de perception physique. Il insère plutôt, entre la politique multimodale figée et le monde réel, une couche d'échafaudage spatial. Le système maintient en ligne une scène simulée synchronisée avec l'exécution réelle, identifie les relations spatiales critiques pour la tâche en cours, puis produit des vues virtuelles complémentaires qui exposent ces relations à la politique. Les caméras réelles fournissent les faits, et les caméras virtuelles les présentent sous des angles que le modèle lit plus facilement. L'avantage de ce choix est net : une caméra simulée peut se placer là où aucune caméra physique ne le pourrait, par exemple le long de l'intérieur d'une prise ou en travers du mince interstice entre deux pièces, et elle ne coûte rien en matériel. Pour les modèles fermés accessibles uniquement par une API, une approche qui améliore l'entrée sans toucher aux poids est particulièrement réaliste.

Maintenir la scène simulée alignée sur la réalité est la partie la plus difficile de la méthode. Dès qu'un objet est saisi, déplacé puis relâché, l'erreur d'estimation de pose peut s'accumuler, et une vue virtuelle qui contredit la scène réelle risque d'induire la politique en erreur davantage qu'une absence de vue supplémentaire. Les auteurs développent donc une synchronisation de scène sensible à l'interaction, qui distingue trois modes : statique, tenu et transition. D'après le résumé, la lecture naturelle est la suivante : un objet statique peut être supposé rester là où la perception l'a placé ; un objet tenu suit la pince, et sa relation avec l'effecteur terminal est à peu près fixe ; une transition, comme l'instant de la saisie ou du relâchement, correspond à un état en train de changer, où la scène doit être réalignée avec plus de prudence. Les algorithmes précis d'estimation et de correction utilisés dans chaque mode doivent être vérifiés dans l'article complet. Le principe mérite cependant l'attention : traiter l'étape courante de l'interaction comme un a priori qui indique quelle source d'information croire, plutôt que d'appliquer une même règle de suivi à tous les instants d'une tâche.

L'évaluation porte sur quatre tâches de manipulation sur robot réel, qui couvrent l'alignement géométrique précis, le placement relatif à un objet et l'interaction avec des objets articulés. Avec la même politique GPT-6 Astra figée, SpatialHarness améliore nettement le taux de réussite. L'insertion de prise passe de 26,7 % à 66,7 %, et la tour de Hanoï de 0 % à 100 %. Ces deux chiffres n'ont pas le même sens. Passer de zéro à la perfection sur la tour de Hanoï suggère que le goulot d'étranglement tenait presque entièrement à la visibilité des positions relatives des disques et des piquets ; une fois ces relations montrées clairement, le raisonnement et la planification déjà présents dans le modèle suffisaient. L'insertion de prise se rapproche davantage de la difficulté du travail industriel réel. Le succès plus que double, mais environ une tentative sur trois échoue encore, ce qui indique que l'observabilité n'est qu'un goulot parmi d'autres, la gestion du contact et le contrôle en force restant en jeu. Il faut aussi garder un regard sobre sur les preuves : il n'y a que quatre tâches, et le nombre d'essais ainsi que la répartition des modes d'échec doivent être vérifiés dans l'article et sur le site du projet.

La portée générale du travail tient à la façon dont il réattribue la capacité. Pendant plusieurs années, le récit dominant de l'apprentissage robotique a consisté à entraîner des modèles plus grands sur plus de données. SpatialHarness suggère que les modèles de fondation puissants détiennent peut-être déjà une bonne part de la compétence nécessaire à la manipulation fine, et que de mauvaises conditions d'observation la gardent verrouillée. L'augmentation au moment du test ne demande aucun réentraînement, se superpose à n'importe quel socle figé et se réutilise lorsque le socle est mis à jour. Elle a aussi des limites nettes. La méthode dépend de la qualité de la scène simulée, qui exige des modèles d'objets et une estimation de pose fiable. Le résumé ne dit rien des objets déformables ou inconnus, ni de la latence et du coût de calcul du rendu en ligne. Pour l'industrie, l'article met en lumière une couche d'ingénierie : le harnais construit autour d'un modèle figé. À mesure que les modèles de fondation convergent en capacité brute, la performance sur robot réel pourrait dépendre de plus en plus de celui qui offre au modèle la meilleure façon de regarder le monde.