Skild AI s'associe à l'IA physique de NVIDIA pour enseigner des tâches aux robots via une vidéo unique

Contexte

Dans l'histoire du développement de l'intelligence artificielle physique, la pénurie chronique de données réelles d'interaction a constitué le frein le plus critique à l'expansion des robots polyvalents. Contrairement aux modèles de langage qui exploitent des milliards de textes en libre accès sur le web, la manipulation physique requiert des données cinématiques et dynamiques hautement spécialisées. Apprendre à un bras mécanique à réaliser un geste minutieux, comme brancher un connecteur électronique ou manipuler un récipient fragile, exigeait jusqu'ici des semaines de capture de mouvement en laboratoire ou des milliers d'heures de téléopération fastidieuse par des opérateurs humains sous casque virtuel. Ce processus onéreux limitait drastiquement la création de nouvelles compétences robotiques.

Pour lever ce verrou technologique, Skild AI, entreprise pionnière dans le développement de modèles de fondation robotiques, a officialisé une alliance stratégique avec le géant des semi-conducteurs NVIDIA. Ensemble, les deux acteurs ont dévoilé un flux de travail novateur : à partir d'une simple séquence vidéo enregistrée avec un smartphone standard sans étalonnage préalable, le système reconstitue la dynamique physique sous-jacente et permet à des robots de morphologies variées d'acquérir la compétence en quelques heures, sans aucun réentraînement physique.

Analyse approfondie

Cette avancée s'articule autour de l'intégration poussée entre NVIDIA Cosmos, le nouveau modèle de fondation physique mondiale, et la plateforme de simulation distribuée NVIDIA Isaac Sim propulsée par des grappes de processeurs graphiques RTX. Le processus de synthèse algorithmique se déroule en trois temps : inversion neuro-physique de la vidéo, simulation massivement parallélisée avec randomisation du domaine, et distillation de la politique motrice. Dès l'importation de la vidéo mobile, NVIDIA Cosmos analyse la séquence en déduisant les lois physiques invisibles. Le modèle calcule en 3D la cinématique de la main, la posture de l'objet, les surfaces d'appui et les coefficients de friction, s'affranchissant des mouvements de caméra et des ombres parasites. Ces données brutes sont transformées en un scénario d'interaction spatiale rigoureusement conforme aux lois de la mécanique classique. Dans un deuxième temps, ces coordonnées physiques sont injectées dans NVIDIA Isaac Sim. Grâce aux serveurs de calcul RTX, des dizaines de milliers d'instances virtuelles s'exécutent simultanément en quelques minutes. Le système y applique des variations extrêmes : poids des objets modifiés, textures altérées, éclairages perturbés. Parallèlement, l'algorithme adapte la trajectoire aux caractéristiques mécaniques de divers effecteurs, qu'il s'agisse de pinces industrielles à deux doigts ou de mains humanoïdes à cinq doigts articulés.

Enfin, la politique décisionnelle universelle Skild Brain (S1) est entraînée sur ce déluge de données synthétiques par apprentissage par renforcement. En s'adaptant à ces perturbations virtuelles, le modèle isole les principes physiques invariants et réussit son transfert vers le monde réel sans aucune phase d'adaptation sur la machine physique, réalisant un transfert direct et fiable du virtuel au réel.

Impact sur l'industrie

Cette collaboration apporte une flexibilité sans précédent au secteur manufacturier et à la logistique d'entrepôt. Dans les usines modernes, la reconfiguration d'une ligne d'assemblage ne nécessite plus l'intervention prolongée d'ingénieurs en automatismes pour régler chaque positionnement au millimètre. Un opérateur de production peut filmer un geste d'assemblage avec son téléphone pour que la flotte de bras robotisés de l'atelier intègre le savoir-faire en quelques heures.

De plus, la dissociation entre la compétence logicielle et la structure mécanique résout le problème de l'hétérogénéité des parcs de machines. Les entreprises peuvent déployer un même savoir-faire gestuel sur différents modèles de robots industriels ou humanoïdes, uniformisant ainsi la couche d'intelligence motrice de leurs installations industrielles.

Perspectives

Certains obstacles subsistent néanmoins dans la manipulation d'objets extrêmement déformables, tels que des étoffes légères ou des fluides visqueux, dont la simulation numérique fine exige une puissance de calcul colossale. L'amélioration des solveurs physiques d'élasticité demeure un champ d'exploration prioritaire.

NVIDIA et Skild AI entendent par ailleurs démocratiser cette technologie en proposant des microservices NVIDIA NIM prêts à l'emploi. Cette approche permettra à chaque entreprise d'intégrer des capacités d'apprentissage par la vidéo dans ses flux de travail, rapprochant l'industrie du modèle où toute démonstration humaine devient instantanément un programme robotique opérationnel.