Ropedia W0: Weltmodell für Roboter-Loco-Manipulation

Hintergrund

Ein Weltmodell erlaubt es einem verkörperten Agenten, die Folgen seiner Aktionen vorherzusagen, bevor er handelt. Ropedia W0 nimmt sich dafür eine besonders schwierige Variante vor: Das System modelliert Gehen und Manipulieren gemeinsam und deckt zugleich Menschen und mehrere Roboterkörper ab. Die Autoren bezeichnen W0 als das erste egozentrische Loco-Manipulation-Weltfundamentmodell, das Menschen und mehrere Roboterkörper umspannt.

Zwei Hindernisse stehen im Weg. Erstens unterscheiden sich die Aktionsräume: Freiheitsgrade und Steuerschnittstellen variieren von Körper zu Körper. Ein naives Mischen der Daten macht gemeinsame Dynamiken daher kaum lernbar. Zweitens sind überwachte Daten knapp. Ein brauchbares Beispiel braucht Video aus der Ich-Perspektive und dazu passende, multimodale Aktionsannotationen. Datensätze mit beidem blieben bisher klein.

Der Beitrag gliedert sich in vier Teile: der Datensatz Xp-Data mit einheitlichen Annotationen, eine gemeinsame kinematische Darstellung für Fortbewegung und Manipulation, der Langzeit-Benchmark Xp-Teleop und ein destilliertes Modell für den Echtzeitbetrieb. Die Wette dahinter ist einfach: Egozentrisches Menschenvideo ist reichlich vorhanden und deckt viele Szenen ab. Teilen sich Mensch und Roboter eine Darstellung, kann menschliche Erfahrung auf Roboter übergehen.

Tiefenanalyse

Wie stellt Ropedia W0 Aktionen für Menschen und Roboter einheitlich dar? Das Modell kodiert die Fortbewegung über die Kamerapose und die Manipulation über ein projiziertes Skelett. In der Ich-Perspektive zeigt sich jede Körperbewegung als Kamerabewegung, daher erfasst die Kamerapose das Gehen. Hand- und Armhaltung werden als Skelett ins Bild projiziert und beschreiben die Manipulation. Beide Bewegungsarten liegen so im selben visuellen Raum, und die Unterschiede zwischen den Aktionsräumen blockieren das gemeinsame Training nicht mehr.

Die Skelette stammen je nach Körper aus unterschiedlichen Quellen. Beim Menschen kann das Skelett direkt aus der Annotation kommen. Bei Robotern kombinieren die Autoren die körperspezifische Vorwärtskinematik mit umfangreicher manueller Annotation und Korrektur von Schlüsselpunkten. Die Kinematik liefert die Grundform, die manuelle Durchsicht beseitigt Restfehler. Das zählt, weil ein Weltmodell empfindlich auf verrauschte Labels reagiert: Sind Aktion und Bild versetzt, lernt es falsche Ursache-Wirkung-Beziehungen. Xp-Data liefert das Material mit 10.000 Stunden egozentrischer Menschendaten und 3.000 Stunden Roboterdaten, dazu einheitliche Annotationen und systematische Qualitätskontrolle. Das Vortraining auf Menschendaten lernt allgemeine Beziehungen zwischen Aktion und Bild. Das Post-Training passt das Modell dann im Few-Shot- oder im Vollmodus an konkrete Roboter an. Eine Destillation bringt die Inferenz schließlich auf Echtzeit.

Die Evaluierung umfasst fünf Cross-Embodiment-Benchmarks: DreamDojo, Ψ0, ω-HOME, Xp-Teleop und AgiBot, dazu zurückgehaltene egozentrische Menschenvideos. Die Settings reichen von Zero-Shot über Few-Shot-Post-Training bis zum vollständigen Post-Training. Die Autoren berichten State-of-the-Art-Ergebnisse. Xp-Teleop ist neu und beruht auf Teleoperationsdaten geschickter Humanoider. Die Aufgaben sind langfristig und verbinden Gehen mit Manipulation, sie prüfen Drift über lange Sequenzen also schärfer als Benchmarks mit kurzen Clips. Auffällig ist der Skalierungseffekt: Mehr menschliche Vortrainingsdaten verbessern die Evaluierung an Menschen und an Robotern gleichermaßen.

Branchenwirkung

Die Arbeit zeigt einen Weg um die Knappheit von Roboterdaten. Roboterdaten zu sammeln ist langsam und teuer, egozentrisches Menschenvideo lässt sich in viel größerem Umfang gewinnen. Wenn eine gemeinsame Darstellung dieses Material in Roboterfähigkeit verwandelt, verschiebt sich die Kostenbalance der Datenerhebung. Als Beleg dient der berichtete Gewinn in den Roboterevaluierungen durch mehr Menschendaten.

Die gemeinsame Behandlung von Gehen und Manipulieren passt zudem zu humanoiden Robotern, die sich bewegen und im selben Einsatz mit den Händen arbeiten müssen. Modelle, die nur eines von beiden abdecken, lassen in der Praxis eine Lücke. W0 zielt über eine einzige Darstellung auf beides, und Xp-Teleop bietet eine Möglichkeit, lange Aufgaben zu prüfen.

Für den praktischen Einsatz dürfte das destillierte Modell am wichtigsten sein. Es ermöglicht Echtzeit-Rollouts über Minuten und damit interaktive VR-Nutzung. Die Autoren zeigen drei Anwendungen: Policy-Evaluierung, modellbasierte Planung und Welt-Aktions-Modellierung. Policy-Evaluierung im Weltmodell könnte die Zahl realer Roboterversuche senken. Planung im Weltmodell lässt ein System Kandidatenaktionen in der Vorstellung vergleichen. Über VR können Menschen die Vorhersagen des Modells direkt prüfen. Für die Forschung könnten Aufbau von Xp-Data, Qualitätskontrolle und Xp-Teleop zu Referenzpunkten für spätere Cross-Embodiment-Arbeiten werden.

Ausblick

Aus dem Quellmaterial bleiben mehrere Fragen offen. Die Langzeitstabilität der minutenlangen Rollouts braucht weitere Tests, weil sich kleine Fehler über die Zeit aufsummieren können. Auch die Abdeckung weiterer Roboterkörper ist ein Prüfstein für die einheitliche Darstellung. Fünf Benchmarks und zurückgehaltene Menschenvideos zeigen Breite, doch jeder neue Körper muss weiterhin in die Form aus Kamerapose und projiziertem Skelett übersetzt werden.

Auch die Anbindung an echte Regelkreise braucht mehr Belege. Die Arbeit zeigt Policy-Evaluierung, modellbasierte Planung und Welt-Aktions-Modellierung. Ein Weltmodell, das gut vorhersagt, nützt aber nur dann, wenn die Vorhersagen im geschlossenen Regelkreis auf dem Roboter standhalten. Die Quelle nennt dazu keine Details, daher sollten Aussagen über den Einsatz in der realen Welt vorsichtig bleiben.

Dennoch bringt Ropedia W0 Cross-Embodiment-Weltmodelle in drei Punkten voran: Es vereinheitlicht die Aktionsdarstellung, es skaliert die Daten auf 10.000 Menschenstunden und 3.000 Roboterstunden, und es erreicht nach der Destillation Echtzeit-Inferenz. Der Befund, dass mehr menschliche Vortrainingsdaten auch die Roboterevaluierung verbessern, ist das Ergebnis, das man beobachten sollte. Bestätigen spätere Arbeiten ihn an mehr Körpern und längeren Aufgaben, könnte egozentrisches Menschenvideo zu einer Standardquelle für das Training von Roboter-Weltmodellen werden.