Into the Omniverse : des développeurs transforment leurs idées en simulations grâce aux agents IA de pointe

Le 8 octobre 2026, NVIDIA a publié un nouvel article de sa série Into the Omniverse, intitulé « Comment les développeurs transforment leurs idées en simulations grâce aux agents IA de pointe ». Le point de départ est simple. Passer d'une idée de simulation à une application qui fonctionne suppose d'assembler des ressources, de relier physique et rendu, puis de vérifier que la scène se comporte comme prévu. Les développeurs associent désormais des modèles d'IA de pointe aux bibliothèques NVIDIA Omniverse pour confier aux agents une grande part de cet assemblage et de ces contrôles. La répartition des rôles reste la même tout au long du texte. Le développeur donne ses instructions en langage naturel, relit les résultats et oriente les changements. Les bibliothèques Omniverse fournissent la physique, le rendu et la simulation de capteurs accélérés par GPU. Les agents IA relient ces éléments et écrivent le code d'animation et d'application. Parmi les modèles cités figure GPT-6 Astra, et dans un projet des agents Claude Fable 5 travaillent avec Astra. NVIDIA annonce qu'elle ajoutera de nouveaux exemples issus de ses équipes et de développeurs de l'écosystème. Le premier projet est un simulateur d'humanoïde pour entrepôt. Frank DeLise, chef de produit Omniverse chez NVIDIA, a utilisé Astra pour transformer un entrepôt SimReady et un robot humanoïde en simulateur interactif avec vues à la première et à la troisième personne. Il a demandé à Astra de connecter les bibliothèques Omniverse de physique (ovphysx), de mise à jour de scène (ovstage), de rendu (ovrtx) et d'interface (ovui). Il a aussi employé Astra avec SimReady (simready-foundation) pour créer la scène physique. Astra a ensuite généré l'animation et le code d'application qui réunissent ces capacités. L'intérêt est concret : avant d'automatiser des tâches d'entrepôt, l'équipe dispose d'un environnement interactif pour observer le comportement de la tâche et juger la manière de l'exécuter.

Le deuxième projet vise les tests de conduite autonome. Doyub Kim, responsable dans l'équipe de technologie de simulation de NVIDIA, a demandé à Astra de construire Zero to Alpamayo, un environnement de simulation réutilisable fondé sur Market Street à San Francisco. Kim a d'abord fait établir le déroulé du travail. Astra a ensuite relié par étapes la création de ressources, le trafic, la simulation de capteurs Omniverse RTX et la conduite Alpamayo, et Kim a contrôlé chaque intégration. Le prototype est devenu un terrain d'essai pour comparer des modèles et suivre l'effet d'un changement de scène ou de capteur sur le comportement de conduite en aval. Une expérience distincte avec Cosmos3-Nano a fait varier météo et éclairage dans des vidéos de simulation enregistrées, afin de comparer les réponses du modèle de conduite au même scénario selon les conditions.

Le troisième projet montre le mieux comment les résultats sont vérifiés. Ashley Reid, qui travaille sur la validation des capteurs RTX chez NVIDIA, a dirigé des agents Astra et Claude Fable 5 pour comparer les sorties caméra d'ovrtx et les sorties LiDAR brutes à des données enregistrées. Les agents ont créé deux jumeaux numériques à partir de zéro et amélioré deux jumeaux existants. Pendant environ trois jours, Reid a guidé une boucle itérative : les agents mesuraient les écarts, créaient ou modifiaient des scènes OpenUSD, puis vérifiaient les résultats. Les changements portaient sur des objets manquants, la géométrie et les matériaux, et l'acceptation dépendait de métriques caméra et LiDAR. La leçon pour les développeurs : laisser les écarts mesurés guider la création et l'amélioration de la scène. NVIDIA conseille de commencer par rendre une scène OpenUSD avec l'exemple Python minimal d'ovrtx, puis de définir une mesure de capteur à comparer aux données enregistrées.

Le quatrième projet s'appelle Robo Olympics. Tae Kim, qui dirige l'ingénierie et le produit Omniverse chez NVIDIA, a guidé Astra avec des vidéos de sport et des instructions en langage naturel pour construire un projet expérimental où des humanoïdes Unitree G1 simulés réalisent des mouvements sportifs. Sous sa direction, Astra a écrit des contrôleurs et les a affinés par des essais physiques. Le moteur Newton Physics Engine simulait le comportement, le framework open source NVIDIA Warp accélérait les calculs et ovrtx produisait le rendu des scènes et des images de caméra virtuelle. Dans une expérience, le robot a franchi une haie dans 64 essais de simulation sur 100. Ce résultat a servi de retour pour améliorer le timing et le contrôle du robot. Le cinquième projet concerne le démontage robotisé. Jens Jebens, chef de produit senior OpenUSD chez NVIDIA, a demandé à Astra de modéliser une suspension automobile dans PTC Onshape et de la configurer dans NVIDIA Isaac Sim. L'agent a mesuré l'espace disponible et conçu une clé que le robot peut utiliser pour atteindre les boulons de la suspension. Jebens rapporte le retrait réussi d'un composant de suspension en simulation. Cela relie les choix de conception et d'outillage aux résultats de démontage, et offre un point de départ pour l'entraînement de politiques robotiques. Le sixième projet, de Nic Johns, directeur d'ingénierie chez NVIDIA, a assemblé des ressources de la NASA en un modèle OpenUSD de la Station spatiale internationale avec télémétrie. Johns a bâti l'application avec une seule invite, puis une invite de suivi a placé la scène côté jour de la Terre pour rendre la planète visible. Le flux utilisait Blender pour préparer les ressources, et des bibliothèques Omniverse pour le rendu (ovrtx), l'exécution de scène (ovstage) et le streaming (ovstream).

L'article annonce un septième projet sur la transformation de pièces capturées en environnements de test, où une pièce reconstruite numériquement a besoin d'objets modifiables. Le texte source fourni pour ce rapport s'interrompt au milieu de cette section ; aucun détail n'est donc cité ici. Le lecteur consultera l'article original de NVIDIA. Trois constantes ressortent. D'abord, chaque projet aboutit à un résultat mesurable ou vérifiable : métriques de capteurs, 64 haies franchies sur 100 essais, une pièce de suspension retirée en simulation. Ensuite, les agents ne livrent pas d'un coup : ils travaillent en boucle de mesure, modification et revérification, avec un humain pour l'orientation. Enfin, tous les cas reposent sur la base commune d'OpenUSD et des bibliothèques Omniverse, ce qui facilite l'assemblage d'outils et de ressources. Une lecture sobre s'impose aussi. L'article est une vitrine de NVIDIA. Il ne donne ni coûts, ni comparaison de durée totale, ni part d'échecs ; on ne peut donc pas en déduire un gain d'efficacité général.

Les implications restent nettes. Pour les équipes de robotique et de conduite autonome, la simulation est une étape centrale de l'entraînement et de la validation, et sa construction a longtemps reposé sur quelques ingénieurs maîtrisant à la fois graphisme et physique. Si les agents rendent le code de liaison bon marché, davantage d'équipes atteindront plus tôt les tests en simulation. Pour NVIDIA, voir des modèles de pointe appeler les bibliothèques Omniverse comme des outils renforce l'attrait de son écosystème logiciel. Les défis ouverts sont de réduire l'écart entre capteurs simulés et réels, d'auditer ce qu'un agent a modifié et de garder les scènes traçables quand plusieurs personnes travaillent ensemble. La réponse du secteur décidera si la simulation pilotée par agents passe de la démonstration à la pratique quotidienne.