DreamTrue: Aktionstreues Roboter-Weltmodell durch kontrafaktisches Nachtraining

Ein Weltmodell für Roboter soll einer Strategie erlauben, eine Handlung zu proben, bevor sie echte Hardware berührt. Aus der aktuellen Beobachtung und einer Folge geplanter Aktionen sagt es voraus, was als Nächstes geschieht. Die Idee ist einfach, die Umsetzung ist schwer. Videogeneratoren sind darauf trainiert, plausibel auszusehen, ein Roboter braucht aber Vorhersagen, die den gegebenen Befehlen treu bleiben. DreamTrue, verfasst unter anderem von Junyan Li, Ruizhi Li, Yu Liu, Xiangshuo Liu, Mingchao Sun, Hongyu Pan, Mu Xu, Lue Fan und Zhaoxiang Zhang, erschien am 8. Oktober 2026 auf arXiv unter der Kennung 2610.12468. Die Arbeit beschreibt ein Multi-View-Weltmodell für mehrere Roboterkörper, das zwei Eigenschaften anstrebt: Aktionstreue und physikalische Plausibilität. Die erste verlangt, dass die erzeugten Bilder den Eingabeaktionen genau folgen. Die zweite verlangt, dass Kontakte, Griffe und Kollisionen wie echte Physik aussehen. Fehlt eine der beiden, bleibt das Modell ein schöner Videoplayer, der die reale Umgebung beim Bewerten oder Trainieren einer Strategie nicht ersetzen kann.

Die Autoren nennen zwei Hindernisse, die beim Training auf bestehenden Robotik-Datensätzen auftreten. Das erste ist eine ungenaue Kalibrierung. Um eine Aktionstrajektorie mit den Pixeln abzugleichen, muss die Geometrie zwischen Kameras und Arm bekannt sein. Ist sie leicht falsch, ist auch die gelernte Abbildung von Aktion zu Bild falsch, und das Modell folgt Befehlen schlecht. Das zweite Hindernis ist die geringe Abdeckung misslungener Interaktionen. Öffentliche Datensätze enthalten überwiegend erfolgreiche Demonstrationen. Fehlgriffe, rutschende Objekte und umgestoßene Gegenstände sind selten. Das Modell entwickelt dadurch eine optimistische Verzerrung: Egal welche Aktion es erhält, es zeigt tendenziell ein gutes Ende. Das ist für Planung und Bewertung gefährlich, denn ein Weltmodell, das nie ein Scheitern gesehen hat, kann eine Strategie nicht warnen, dass eine Bewegung die Tasse fallen lässt. Die saubere Trennung beider Probleme ist bereits ein Beitrag. Das eine betrifft die Genauigkeit der Aktionsbedingung, das andere den Realismus des Interaktionsergebnisses.

Gegen das erste Hindernis rendert DreamTrue Aktionstrajektorien als Bedingungen im Bildraum und wendet eine Offline-Kalibrierung an, damit diese Bedingungen mit den Zielvideos übereinstimmen. Die Aktion wird dem Netz also nicht als abstrakte Liste von Gelenkwerten übergeben. Sie wird in die Kameraansicht gezeichnet, sodass das Modell auf Pixelebene sieht, wohin der Endeffektor sich bewegen wird. Das Design hat zwei Vorteile. Gelenkdefinitionen unterscheiden sich stark zwischen Robotern, und eine Darstellung im Bildraum glättet diese Unterschiede, was das Training über verschiedene Körper hinweg stützt. Die Offline-Kalibrierung behebt geometrische Fehler außerdem einmalig vor dem Training, statt das Netz raten zu lassen. Der Multi-View-Aufbau fügt eine Bedingung für dreidimensionale Konsistenz hinzu und verringert die Mehrdeutigkeit einer einzelnen Kamera. Die Arbeit berichtet über führende Aktionsfolgsamkeit auf AgiBot. Die Zusammenfassung nennt dafür keine Zahl, die genauen Werte stehen im Volltext.

Gegen das zweite Hindernis führt die Arbeit kontrafaktisches Nachtraining ein. Das Team verändert aufgezeichnete Aktionstrajektorien und lässt das Modell die Zukunftsvideos erzeugen, die diese neuen Aktionen hervorbringen würden. So wächst die Bandbreite an Aktionen und Kontaktkonfigurationen. Die Logik ist leicht nachzuvollziehen. Niemand zeichnet eine Demonstration auf, in der der Greifer neben einem Objekt ins Leere schließt, doch ein Weltmodell muss wissen, wie das aussieht. Indem Trajektorien als Frage umgeschrieben werden, etwa „was wäre, wenn sich der Arm so bewegt hätte“, wächst die Trainingsverteilung von erfolgreichen Demonstrationen zu Randfällen und Fehlschlägen. Daraus folgt ein neues Problem: Für die erzeugten Zukünfte gibt es kein Referenzvideo, wie bewertet man sie also? Die Autoren bauen einen von Menschen annotierten Videodatensatz, der Fehler an Roboter, Objekt und Interaktion abdeckt, und trainieren damit ein verkörpertes Video-Belohnungsmodell. Dieses braucht keine gepaarte echte Zukunft. Es bewertet, ob ein Clip verschwindende Objekte, durchdringende Körperteile oder nicht haltbare Griffe zeigt. Seine Punkte lenken ein Nachtraining per bestärkendem Lernen hin zu physikalisch plausibleren Ergebnissen.

Das Hauptergebnis ist deutlich: Die von Menschen bewertete Fehlerrate bei Interaktionen sinkt von 48,12 % auf 6,25 %. Vor dem Nachtraining zeigte fast die Hälfte der Ausgaben einen sichtbaren Fehler, danach etwa eine von sechzehn. DreamTrue belegt zudem den ersten Platz in der Weltmodell-Disziplin der AgiBot World Challenge 2026. Die Zahlen verlangen nüchternes Lesen. Die Fehlerrate stammt aus menschlicher Bewertung, und die Zusammenfassung nennt weder Annotationskriterien noch Stichprobengröße noch die Zahl der Bewerter. Ob die Vergleichsbasen stark waren, muss im Volltext geprüft werden. Die methodische Lehre bleibt dennoch klar. Erstens verschiebt sich der Engpass von Weltmodellen von der Bildqualität zur kausalen Treue, und Metriken sollten Aktionsfolgsamkeit und Interaktionsfehler ins Zentrum stellen. Zweitens bilden kontrafaktische Daten, ein gelerntes Belohnungsmodell und bestärkendes Lernen einen Kreislauf ohne Labels für echte Zukünfte, ähnlich RLHF bei Sprachmodellen, nur auf physische Interaktion angewandt. Drittens könnte ein hinreichend verlässliches Modell als günstiger Simulator für Training und Bewertung von Strategien dienen. Offen bleiben die blinden Flecken des Belohnungsmodells, die Abdeckung der menschlichen Labels und die Generalisierung auf Aufgaben außerhalb der Trainingsverteilung.