NVIDIA erklärt Cosmos für physische KI: Simulationsrezepte für Fahren, Roboter und Chirurgie sowie NIM-Betrieb mit herstellerseitig gemeldeten 2- bis 3-fachen Beschleunigungen
Am 2. November 2026 veröffentlichte der NVIDIA-Entwicklerblog eine praktische Cosmos-Anleitung, die zeigt, wie man Weltmodelle mit dem Cosmos Framework trainiert und anpasst und mit Cosmos NIM bereitstellt. Sie enthält Simulationsrezepte für autonomes Fahren, Roboter und Chirurgie, einen Referenzlauf auf vier GPUs mit sieben 720p-Videos und 99 LiDAR-Scans sowie den Speicherbedarf je Modell. Zahlen wie eine etwa zwei- bis dreifache Beschleunigung auf H200 sind NVIDIAs eigene Messungen ohne genannte Vergleichsbasis oder Arbeitslast und müssen selbst nachgemessen werden.
Am 2. November 2026 veröffentlichte der Entwicklerblog von NVIDIA eine praktische Anleitung zur Cosmos-Plattform für physische KI. Der Beitrag behandelt zwei Aufgaben. Erstens sollen Weltmodelle mit dem Cosmos Framework an die eigenen Sensoren, Aufgaben und Daten eines Teams angepasst werden. Zweitens sollen diese Modelle mit Cosmos-NIM-Microservices in einer Anwendung bereitgestellt werden. Es ist eine technische Anleitung mit Befehlen und Checkpoints, und die meisten Leistungszahlen stammen aus NVIDIAs eigenen Tests.
Das Cosmos Framework wird als offenes, modulares Framework für Training, Optimierung und Inferenz beschrieben. Es wird über Cosmos 3 hinaus auf NVIDIA Alpamayo, GR00T, Qwen, pi0.5 und weitere kompatible Hugging-Face-Modelle ausgeweitet. Für das Training nennt der Beitrag LoRA und vollständiges überwachtes Feintuning, das Laden von Daten aus JSONL, WebDataset, LeRobot oder eigenen Adaptern sowie neue Wege des bestärkenden Lernens: DPO, GRPO, PPO, On-Policy-Destillation und DiffusionNFT. Außerdem beschreibt er Agenten-Skills im Verzeichnis .agents/skills und rät, einem Coding-Agenten eine begrenzte Aufgabe zu geben, etwa einen Checkpoint nachzutrainieren, mit festgelegten Revisionen, geprüftem Datensatz, getrennten Trainings- und Evaluationsepisoden und einer Obergrenze an GPU-Stunden.
Der Simulationsteil ist am konkretesten. Für autonomes Fahren nimmt Cosmos3-Nano-Transfer-Auto einen Prompt und World-Scenario-Map-Steuerungen für Spuren, Objekte, Fahrbahnmarkierungen, Schilder und Straßenränder entgegen und entrauscht einen ganzen Mehrkamera-Clip auf einmal für synthetische Offline-Daten. NVIDIA gibt an, dass es 30-fps-Video mit bis zu 400 Bildern in 480p oder 720p unterstützt. Der Referenzlauf nutzt vier GPUs und liefert sieben 720p-Videos mit je 297 Bildern sowie 99 LiDAR-Scans. Cosmos3-Nano-Sim-Auto ist eine kausale, auf wenige Schritte destillierte Variante, die Beobachtungen schrittweise erzeugt, sodass eine Fahrstrategie im geschlossenen Regelkreis getestet werden kann. Bei Robotern wandelt Sim-Transfer Tiefenvideo und einen Prompt in abwechslungsreiches RGB-Video um, und Sim-Bimanual sagt aus den Aktionen eines Zweiarmroboters die nächste Ansicht voraus. In der Chirurgie erzeugen Cosmos3-H-Embodied-Nano und das daraus destillierte Cosmos3-H-Dreams Video aus Roboteraktionen für die Offline-Bewertung von Strategien und Echtzeit-Tests im geschlossenen Regelkreis. Die Checkpoints laufen mit PyTorch und vLLM-Omni und wurden auf Hopper- und Blackwell-GPUs getestet.
Der Bereitstellungsteil behandelt Cosmos NIM, das unterstützte Modelle in optimierten Containern bündelt. NVIDIA nennt Quantisierung, spekulatives Dekodieren, Caching, Token-Pruning und KV-Cache-bewusstes Routing und berichtet von gemessenen mittleren Beschleunigungen von etwa dem Zwei- bis Dreifachen auf H200 durch spekulatives Dekodieren. Ferner heißt es, Streaming-Inferenz mit Vision-Sprach-Modellen könne Alarme in unter einer Sekunde mit zehnfach geringerer Latenz liefern. Das sind Herstellermessungen, und der Beitrag nennt weder Vergleichsbasis noch Modellgröße oder Arbeitslast für jede Zahl. Der Speicherbedarf hängt von Modell und Aufgabe ab: Die Generierung mit Cosmos3-Nano braucht 58 GiB in BF16, 44 GiB in FP8 und 31 GiB in FP8 mit Auslagerung, die mit Cosmos3-Super 150, 93 und 38 GiB.
Die Startschritte sind Routine, aber leicht falsch gemacht. Man wählt GPU und Modell anhand der Speichertabelle, installiert unter Linux den NVIDIA-Treiber, Docker und das NVIDIA Container Toolkit, erstellt einen persönlichen NGC-Schlüssel mit Zugriff auf den NGC-Katalog, setzt ihn als NGC_API_KEY und startet den Container, zum Beispiel Nano Generator auf GPU 0. Der Beitrag weist darauf hin, dass die gezeigten Cache-Berechtigungen für die lokale Entwicklung gedacht sind und nicht ungeprüft auf einen gemeinsam genutzten Host übertragen werden sollten. Nach dem Start sollte man prüfen, ob der Dienst bereit ist, und eine erste Inferenzanfrage senden, bevor man darauf aufbaut.
Zum Ausprobieren beginnt man besser mit einem veröffentlichten Checkpoint und einem Rezept als mit der ganzen Plattform. Führen Sie das offizielle Beispiel aus und prüfen Sie dann, ob die Ausgabedateien existieren, die LiDAR-Werte endlich sind und Kameraansichten und LiDAR an der Szenarienkarte ausgerichtet bleiben. Halten Sie GPU-Anzahl, Präzision, Spitzenspeicher und Latenz fest, denn die Überschriftenzahlen übertragen sich nicht automatisch auf ein anderes Modell oder eine andere Karte. Synthetische Szenen bleiben Testdaten und müssen mit echten Sensoren validiert werden, bevor sie eine sicherheitsrelevante Entscheidung stützen. NVIDIA kündigt außerdem einen Livestream am Donnerstag, dem 5. November, zur Nutzung des Frameworks an.
Sources
FAQ
Welche zwei Aufgaben deckt die Cosmos-Anleitung ab?
Sie behandelt die Anpassung von Weltmodellen an eigene Sensoren, Aufgaben und Daten mit dem Cosmos Framework, einschließlich Training, bestärkendem Lernen und Optimierung, sowie die Bereitstellung mit Cosmos NIM, was Auswahl der GPU, Containerstart und Bereitschaftsprüfung heißt. Die meisten Leistungszahlen sind eigene Messungen von NVIDIA.
Kann man die NIM-Beschleunigungszahlen als Planungswert nutzen?
Nein. Der Beitrag nennt gemessene mittlere Beschleunigungen von etwa dem Zwei- bis Dreifachen auf H200 durch spekulatives Dekodieren, aber ohne Vergleichsbasis, Modellgröße oder Arbeitslast je Zahl. Latenz, Durchsatz und Spitzenspeicher sollten mit dem eigenen Modell, der eigenen Präzision und Karte neu gemessen werden, bevor man Kapazität plant.
Wie prüft ein Team die Ausgabe synthetischer Fahrszenen?
Das veröffentlichte Beispiel ausführen, prüfen, dass die Ausgabedateien existieren und die LiDAR-Entfernungs- und Intensitätswerte endlich sind, und dann kontrollieren, ob Mehrkamera-Videos und LiDAR an der Szenarienkarte ausgerichtet bleiben. Synthetische Szenen sind Testdaten und müssen vor einer Sicherheitsentscheidung mit echten Sensoren validiert werden.