DeepMind stellt Gemini Robotics ER 2 vor: Multi-Roboter-Kollaboration durch räumliches Echtzeit-Videoverständnis
Google DeepMind hat Gemini Robotics ER 2 vorgestellt, eine Architektur für verkörperte KI, die kontinuierliches räumliches 3D-Videoverständnis mit hierarchischer Multi-Agenten-Orchestrierung verknüpft. Das System ermöglicht es heterogenen Flotten aus zweibeinigen Humanoiden, mobilen Manipulatoren und Industrieroboterarmen, komplexe Montagen und Palettieraufgaben autonom und kooperativ zu lösen, ohne dass dafür deterministische Kommunikationsprotokolle vordefiniert werden müssen.
Der Sprung zur kollektiven Robotik: Überwindung deterministischer Grenzen in der Montage
In modernen Fertigungsbetrieben und hochautomatisierten Logistikzentren hat die Intelligenz einzelner Roboter erhebliche Fortschritte erzielt. Standardisierte Aufgaben wie das Palettieren einzelner Kisten oder die optische Qualitätskontrolle gelingen heute fehlerfrei. Doch die anspruchsvollsten Kernprozesse der industriellen Wertschöpfung—etwa die hochpräzise Ausrichtung von Flugzeugrümpfen, die Montage schwerer Turbinengetriebe oder das koordinierte Sortieren unstrukturierter Stückgüter—erfordern ein physikalisch exakt synchronisiertes Zusammenspiel mehrerer Maschinen mit unterschiedlichen Kinematiken. Bislang waren solche Multi-Roboter-Anlagen auf starre speicherprogrammierbare Steuerungen (SPS) und deterministische Feldbusse angewiesen. Schon minimale Bauteiltoleranzen oder ein kleiner Netzwerk-Jitter führten regelmäßig zu kostspieligen Kollisionen oder zum Stillstand der Fertigungslinie.
Um diesen massiven Produktivitätsengpass aufzulösen, hat Google DeepMind nun Gemini Robotics ER 2 (Embodied Reasoning 2) vorgestellt. Die Plattform gilt als Pionierleistung auf dem Gebiet der verkörperten künstlichen Intelligenz und läutet den Abschied von isolierten Steuerungen ein: An ihre Stelle tritt eine einheitliche, multimodale Architektur für dezentrale räumlich-zeitliche Lageerfassung und selbstorganisierende Multi-Roboter-Kollaboration.
Technische Architektur: Räumliches 3D-Streaming-Video und hierarchische Prozesssteuerung
Das fundamentale Konstruktionsmerkmal von Gemini Robotics ER 2 ist eine zweistufige Steuerungsarchitektur, die ein zentrales räumliches Rechengehirn auf einem Edge-Server mit hochfrequenten visuomotorischen Regelkreisen auf den jeweiligen Robotern verbindet.
Die übergeordnete kognitive Schicht stützt sich auf DeepMinds neueste räumliche Videomodelle. Bei einer Taktrate von 60 Hz verarbeitet das System die Videoströme von Hallenkameras, Stereokameras zweibeiniger humanoider Roboter sowie Hand-Auge-Sensoren mobiler Roboterarme parallel. Anders als konventionelle Bildverarbeitungssysteme generiert ER 2 einen kontinuierlich aktualisierten 4D-Szenengraphen. In diesem geometrischen Modell werden sämtliche Gelenkstellungen, Endeffektorkräfte und Werkstückkonturen innerhalb eines gemeinsamen physikalischen Koordinatensystems in Echtzeit erfasst und unter Berücksichtigung von Reibung und Massenträgheit bewertet.
Auf der Ausführungsebene verzichtet DeepMind auf deterministische Netzwerkprotokolle und setzt stattdessen auf eine visuelle Verhaltenssynchronisation. Erteilt der Meister einen Sprachbefehl wie „Fixiere das Getriebegehäuse auf dem Montagetisch, während der Hilfsarm die Flanschschrauben festzieht“, zerlegt das Modell das Gesamtziel in Millisekunden in lokale Aktionsprimitive. Die Roboter kommunizieren nicht über traditionelle Datenpakete, sondern erfassen die Körperhaltung und Werkstückbelastungen ihrer Partner direkt über ihre Kamerasysteme und passen ihre Motordrehmomente reflexartig an unerwartete Lastwechsel an.
Belastungstests in der Praxis: Zero-Shot-Montage und dynamische Selbstheilung
In praxisnahen Testläufen in DeepMinds Fertigungslaboren bewies Gemini Robotics ER 2 eine beachtliche Anpassungsfähigkeit an unvorhergesehene Störungen. In einer völlig neuen Arbeitszelle montierte ein heterogenes Team—bestehend aus einem humanoiden Roboter, zwei mobilen Manipulatoren auf omnidirektionalen Plattformen und einem stationären Leichtbauarm—ein komplexes Industriegetriebe ohne vorherige CAD-Einlernphase.
Während der Montage führten die Versuchsleiter absichtlich massive Störungen herbei: Sie verschoben Bauteile willkürlich, verdeckten Kamerasichtachsen und stießen arbeitende Roboterarme von Hand an. In allen Szenarien reagierte das System souverän. Ein Roboter mit verdeckter Sicht rekonstruierte die Position des Werkstücks anhand der Bewegungsvektoren seiner Kollegen; ein abgelenkter Manipulator glich die Positionsabweichung innerhalb von 10 Millisekunden selbstständig aus und setzte den Fügevorgang ohne Notabschaltung fort.
Die Weichenstellung für die Fabrik der Zukunft
Mit Gemini Robotics ER 2 erreicht die verkörperte künstliche Intelligenz die notwendige Reife für den produktiven Dauereinsatz in anspruchsvollen Industrieumgebungen. Die bisher wochenlange Inbetriebnahme und Programmierung komplexer Roboterzellen schrumpft auf wenige Stunden visueller und sprachlicher Unterweisung zusammen.
Die Fähigkeit heterogener Roboterflotten, ihre Umwelt räumlich zu verstehen und Hand in Hand mit der Geschicklichkeit menschlicher Montageteams zu agieren, eröffnet völlig neue Horizonte für wandlungsfähige Fabriken, die autonome Gefahrengutbeseitigung und die globale Fertigungsindustrie.
Sources
FAQ
Welchen Durchbruch erzielt Robotics ER 2?
Es kombiniert räumliches 3D-Videoverstehen mit hierarchischer Steuerung, sodass heterogene Roboter ohne starre Protokolle autonom kooperativ arbeiten können.
Wie stimmen Roboter ihre Aktionen ohne Code ab?
Ein dynamischer Szenengraph zerlegt Aufgaben in lokale Aktionen; die Roboter erkennen die Posen ihrer Teampartner optisch und passen ihre Drehmomente reflexartig an.
Welche Hürden bestehen für die reale Praxis?
Zentrale Hürden sind Millisekunden-Latenzen bei visuomotorischer Regelung, zuverlässige Rekonstruktion bei Sichthindernissen und der Umgang mit verformbaren Teilen.