NVIDIA détaille Cosmos pour l'IA physique : recettes de simulation pour la conduite, la robotique et la chirurgie, et service NIM avec des accélérations de 2 à 3 fois annoncées par le fournisseur
Le 2 novembre 2026, le blog développeur de NVIDIA a publié un guide pratique Cosmos montrant comment entraîner et adapter des modèles du monde avec le Cosmos Framework, puis les servir avec Cosmos NIM. Il propose des recettes de simulation pour la conduite autonome, la robotique et la chirurgie, une exécution de référence sur quatre GPU qui produit sept vidéos 720p et 99 balayages LiDAR, et les besoins en mémoire par modèle. Les chiffres comme une accélération d'environ 2 à 3 fois sur H200 sont des mesures de NVIDIA sans référence ni charge précisées pour chacun, à remesurer soi-même.
Le 2 novembre 2026, le blog développeur de NVIDIA a publié un guide pratique sur sa plateforme Cosmos pour l'IA physique. L'article traite deux tâches. La première consiste à adapter des modèles du monde aux capteurs, aux tâches et aux données d'une équipe avec le Cosmos Framework. La seconde consiste à servir ces modèles dans une application avec les microservices Cosmos NIM. C'est un tutoriel technique avec des commandes et des points de contrôle, et la plupart des chiffres de performance proviennent des propres tests de NVIDIA.
Le Cosmos Framework est décrit comme un cadre ouvert et modulaire pour l'entraînement, l'optimisation et l'inférence. Il s'étend au-delà de Cosmos 3 pour couvrir NVIDIA Alpamayo, GR00T, Qwen, pi0.5 et d'autres modèles Hugging Face compatibles. Pour l'entraînement, l'article cite LoRA et le réglage fin supervisé complet, le chargement de données depuis JSONL, WebDataset, LeRobot ou des adaptateurs personnalisés, ainsi que de nouvelles voies d'apprentissage par renforcement : DPO, GRPO, PPO, distillation sur la politique et DiffusionNFT. Il décrit aussi des compétences d'agent stockées dans .agents/skills et suggère de confier à un agent de code une tâche bornée, par exemple post-entraîner un point de contrôle avec des révisions figées, un jeu de données validé, des épisodes d'entraînement et d'évaluation séparés et une limite d'heures GPU.
La partie sur la simulation est la plus concrète. Pour les véhicules autonomes, Cosmos3-Nano-Transfer-Auto reçoit une invite et des contrôles World Scenario Map pour les voies, les objets, les marquages, les panneaux et les bords de route, puis débruite d'un coup un clip multivue entier afin de produire des données synthétiques hors ligne. NVIDIA indique qu'il gère la vidéo à 30 images par seconde, jusqu'à 400 images en 480p ou 720p. Son exécution de référence utilise quatre GPU et produit sept vidéos 720p de 297 images ainsi que 99 balayages LiDAR. Cosmos3-Nano-Sim-Auto est une variante causale distillée en peu d'étapes qui génère les observations pas à pas, de sorte qu'une politique de conduite peut être testée en boucle fermée. Pour les robots, Sim-Transfer transforme une vidéo de profondeur et une invite en vidéo RVB variée, et Sim-Bimanual prédit la vue suivante à partir des actions d'un robot à deux bras. En chirurgie, Cosmos3-H-Embodied-Nano et son dérivé distillé Cosmos3-H-Dreams génèrent de la vidéo à partir des actions du robot pour l'évaluation hors ligne de politiques et des essais en boucle fermée en temps réel. Les points de contrôle fonctionnent sur PyTorch et vLLM-Omni et ont été testés sur des GPU Hopper et Blackwell.
La partie déploiement présente Cosmos NIM, qui empaquette les modèles pris en charge dans des conteneurs optimisés. NVIDIA cite la quantification, le décodage spéculatif, la mise en cache, l'élagage de jetons et le routage tenant compte du cache KV, et rapporte des accélérations moyennes mesurées d'environ 2 à 3 fois sur H200 grâce au décodage spéculatif. Elle affirme aussi que l'inférence vision-langage en flux continu peut donner des alertes en moins d'une seconde avec une latence dix fois plus faible. Ce sont des mesures du fournisseur, et l'article n'indique ni la référence de comparaison, ni la taille du modèle, ni la charge de travail de chaque chiffre. Les besoins en mémoire varient selon le modèle et la tâche : la génération avec Cosmos3-Nano exige 58 Gio en BF16, 44 Gio en FP8 et 31 Gio en FP8 avec déchargement, tandis que celle de Cosmos3-Super en exige 150, 93 et 38.
Les étapes de lancement sont banales mais faciles à rater. Il faut choisir un GPU et un modèle d'après le tableau de mémoire, installer le pilote NVIDIA, Docker et le NVIDIA Container Toolkit sous Linux, créer une clé personnelle NGC avec accès au catalogue NGC, la définir dans NGC_API_KEY, puis démarrer le conteneur, par exemple Nano Generator sur le GPU 0. L'article précise que les permissions de cache montrées sont destinées au développement local ; il ne faut donc pas les copier telles quelles sur un hôte partagé sans examen. Après le lancement, il faut vérifier que le service est prêt et envoyer une première requête d'inférence avant de construire dessus.
Pour essayer, mieux vaut partir d'un seul point de contrôle publié et d'une seule recette plutôt que de la plateforme entière. Exécutez l'exemple officiel, puis vérifiez que les fichiers de sortie existent, que les valeurs LiDAR sont finies et que les vues des caméras et le LiDAR restent alignés avec la carte de scénario. Notez le nombre de GPU, la précision, la mémoire maximale et la latence, car les chiffres d'en-tête ne se transposent pas à un autre modèle ou à une autre carte. Les scènes synthétiques restent des données de test et doivent être validées avec de vrais capteurs avant d'appuyer une décision de sécurité. NVIDIA annonce aussi une diffusion en direct le jeudi 5 novembre sur l'utilisation du framework.
Sources
FAQ
Quelles deux tâches ce guide Cosmos couvre-t-il ?
Il couvre l'adaptation de modèles du monde à ses propres capteurs, tâches et données avec le Cosmos Framework, y compris l'entraînement, l'apprentissage par renforcement et l'optimisation, puis leur mise à disposition avec Cosmos NIM, ce qui suppose de choisir un GPU, de lancer le conteneur et de confirmer qu'il est prêt. La plupart des chiffres sont des mesures de NVIDIA.
Peut-on utiliser les accélérations de NIM comme chiffre de planification ?
Non. L'article rapporte des accélérations moyennes mesurées d'environ 2 à 3 fois sur H200 grâce au décodage spéculatif, sans indiquer la référence, la taille du modèle ni la charge de chaque chiffre. Il faut remesurer la latence, le débit et la mémoire maximale sur son propre modèle, sa précision et sa carte avant de dimensionner.
Comment vérifier la sortie d'une scène de conduite synthétique ?
Exécutez l'exemple publié, vérifiez que les fichiers de sortie existent et que les valeurs de distance et d'intensité du LiDAR sont finies, puis que les vidéos multicaméras et le LiDAR restent alignés avec la carte de scénario. Une scène synthétique est une donnée de test et doit encore être validée avec de vrais capteurs avant toute décision de sécurité.