Skild AI nutzt NVIDIA Physical AI: Roboter erlernen komplexe Aufgaben aus einem einzigen Video

Hintergrund

In der Entwicklung autonomer Robotersysteme war der chronische Mangel an physikalischen Interaktionsdaten stets das größte Hindernis für den Bau vielseitiger, universeller Maschinen. Während generative Sprachmodelle auf gigantische Textkorpora des Internets zurückgreifen können, existiert für handwerkliche und motorische Fertigkeiten kein vergleichbarer Datenschatz. Um einem Roboter feinfühlige Manipulationen beizubringen — wie das präzise Stecken von Kabeln, das Öffnen von Behältern oder das Falten von Verpackungen —, waren bislang aufwändige Bewegungserfassungsstudios oder tausende Stunden manueller Teleoperation über VR-Brillen erforderlich. Diese personal- und kostenintensive Vorgehensweise bremste den industriellen Fortschritt erheblich.

Um diesen Datenengpass nachhaltig zu überwinden, hat das Robotik-Startup Skild AI eine weitreichende Partnerschaft mit dem Technologiekonzern NVIDIA geschlossen. Gemeinsam präsentierten sie eine KI-Pipeline, die es Robotern ermöglicht, anspruchsvolle Manipulationsfähigkeiten aus einem einzigen unkalibrierten Smartphone-Video zu erlernen. Innerhalb weniger Stunden Training in der virtuellen Welt beherrschen Maschinen komplexe Handlungsabläufe in der Realität, was den Aufwand für die Datenerfassung um ein Vielfaches reduziert.

Tiefenanalyse

Das Fundament dieser Technologie bildet die Verzahnung des physikalischen Basismodells NVIDIA Cosmos mit der Hochleistungs-Simulationsplattform NVIDIA Isaac Sim auf GPU-Clustern der RTX- und Blackwell-Klasse. Das Verfahren gliedert sich in drei methodische Abschnitte: die neuro-physikalische Videoinversion, massiv randomisierte Paralleldarstellungen und das Zero-Shot-Transferlernen. Im ersten Schritt wertet NVIDIA Cosmos das hochgeladene Video aus. Anstatt nur Bildpunkte zu analysieren, rekonstruiert das Modell die zugrunde liegende dreidimensionale Physik. Es ermittelt Handgelenkstrajektorien, Objektgeometrien, Kontaktflächen, Gravitationskräfte und Reibungskoeffizienten direkt aus der monokularen Kameraaufnahme. Selbst bei wechselnden Lichtverhältnissen oder leichten Verdeckungen durch die Finger generiert das System konsistente physikalische Bewegungsmodelle.

Anschließend werden diese Daten in die Simulationsumgebung von NVIDIA Isaac Sim übertragen. Auf den GPU-Servern entstehen binnen Minuten zehntausende parallele Instanzen des Szenarios. Durch rigorose Domain Randomization variiert das System Objektgewichte, Oberflächenrauheiten und optische Reflexionen in extremen Bandbreiten. Zugleich erfolgt ein automatisches Retargeting auf die mechanischen Eigenschaften unterschiedlichster Robotergreifer — vom simplen Parallelgreifer bis hin zur feingliedrigen humanoiden Fünffingerhand. Auf Basis dieses synthetischen Datenstroms wird die Steuerungssoftware Skild Brain (S1) mittels verteilter Bestärkungslernverfahren (Reinforcement Learning) trainiert. Da die Richtlinie in zahllosen physikalischen Grenzfällen agieren muss, verinnerlicht sie robuste Kontaktmechaniken. Beim finalen Transfer auf die reale Hardware gelingt die fehlerfreie Ausführung ohne jegliche Kalibrierungsläufe vor Ort.

Branchenwirkung

Die Zusammenarbeit von Skild AI und NVIDIA eröffnet für die Fertigungsindustrie, Logistik und Medizintechnik ungeahnte Rationalisierungspotenziale. Montageprozesse in Fabriken müssen künftig nicht mehr über Wochen hinweg von Steuerungstechnikern programmiert werden. Ein Mitarbeiter filmt den geforderten Arbeitsschritt mit dem Smartphone, woraufhin die Steuerungssoftware die passenden Bewegungsprofile für die Roboterflotte selbstständig generiert.

Zugleich löst das System die Fragmentierung der Hardwarelandschaft auf. Da das Modell universelle physikalische Gesetzmäßigkeiten lernt, lässt sich dieselbe demonstrierte Fertigkeit auf Zweiarm-Roboter, fahrbare Plattformen oder Humanoide gleichermaßen übertragen. Dies fördert den Übergang zu softwaredefinierten Automatisierungssystemen in der modernen Industrieproduktion.

Ausblick

Bei hochgradig verformbaren Materialien wie flexiblen Textilien, Gummischläuchen oder Flüssigkeiten stößt die Simulation derzeit noch an mathematische Grenzen, da die mikroskopischen Verformungen in Echtzeit enorme Rechenressourcen erfordern. Hier sind künftig noch präzisere Partikelsimulatoren gefragt.

NVIDIA und Skild AI planen, diese Fähigkeiten über NVIDIA-NIM-Mikroservices weltweit als standardisierte Cloud-Dienste bereitzustellen. Dies wird es Entwicklern und Fertigungsbetrieben ermöglichen, alltägliche Videosequenzen unkompliziert in industrielle Roboterfertigkeiten zu transformieren und so den Weg für universell einsetzbare Assistenzroboter zu ebnen.