Dex-One2Many: Geschickte Manipulation aus einer einzigen menschlichen Demonstration lernen

Geschickte Manipulation gehört zu den schwierigsten Problemen der verkörperten KI. Eine mehrfingrige Hand hat viele Freiheitsgrade und ein verwickeltes Kontaktgeschehen. Eine einzige Aufgabe zerfällt oft in mehrere Phasen: ein Werkzeug aufnehmen, den Griff anpassen und das Werkzeug dann an einem anderen Objekt einsetzen. Der klassische Weg, einem Roboter so etwas beizubringen, ist die Teleoperation, bei der ein Mensch den Roboter steuert und das System die Demonstration aufzeichnet. Diese Daten sind teuer und knapp, und sie decken die Vielfalt an Objektlagen und Griffen, die ein Roboter im Einsatz antrifft, nur schlecht ab. Deshalb richten viele Forschende den Blick auf menschliche Videos. Eine Aufnahme, in der eine Person die Aufgabe erledigt, kostet fast nichts. Die eigentliche Schwierigkeit besteht darin, aus einem einzigen Video eine Policy zu machen, die der Roboter ausführen kann und die auch bei veränderter Lage noch funktioniert.

Die bisher übliche Antwort lautet Bewegungsimitation: Die Handbahn aus dem Video wird auf die Roboterhand übertragen und so genau wie möglich nachgefahren. Die Autoren von Dex-One2Many benennen die Schwäche dieses Ansatzes in ihrer Zusammenfassung ohne Umschweife. Striktes Bewegungsmatching begrenzt die Generalisierung. Ändert sich die Anfangslage des Objekts, ändert sich die Ziellage oder verlangt die Aufgabe einen Griff, der im Video nicht vorkommt, scheitert eine an eine Trajektorie gebundene Policy leicht. Der andere Weg ist reines bestärkendes Lernen. Es kann breit generalisieren, doch ohne Führung ist die Exploration in einem hochdimensionalen Aktionsraum und bei mehrphasigen Aufgaben sehr ineffizient. Der Agent kommt womöglich nie über die erste Phase hinaus. Beide Probleme hängen zusammen: Imitation löst das erste nicht, reines Reinforcement Learning das zweite nicht.

Die zentrale Einsicht des Papers ist ein Wechsel der Abstraktionsebene. Statt den genauen Weg der Hand festzuhalten, fasst die Methode das Video zu einer Folge von Szenengraphen zusammen, einem pro Phase. Ein Szenengraph beschreibt Beziehungen: welches Objekt gehalten wird, welche Objekte sich berühren und wo ein Objekt relativ zu einem anderen liegt. Man kann ihn als Aufgabenbeschreibung lesen, die Bedingungen nennt und Koordinaten weglässt. Er sagt, was in jeder Phase gelten muss, und überlässt es der Policy, selbst herauszufinden, wie das gelingt. Weil der Graph Beziehungen und nicht exakte Posen beschränkt, lässt er von Natur aus eine große Familie konkreter Konfigurationen zu. Genau das erlaubt es, dass ein und derselbe Graph zwei Rollen übernimmt.

Die erste Rolle ist die einer generativen Randbedingung. Aus den Graphen lassen sich vielfältige Startzustände ziehen, die Objektlagen und Griffe weit jenseits des im Video Gezeigten abdecken. Die zweite Rolle ist die eines Belohnungsgebers. Für jede Phase liefert der Graph eine dichte Belohnung, die dem Lernenden zeigt, wie weit der aktuelle Zustand vom Ziel dieser Phase entfernt ist. Zusammen greifen beide Rollen das Explorationsproblem direkt an. Eine mehrphasige Aufgabe bestraft Exploration von Null an, weil die Policy viele Schritte hintereinander richtig machen muss, bevor überhaupt eine Endbelohnung erscheint. Dex-One2Many umgeht das: Jede Phase startet in einem gezogenen Startzustand und wird durch eine dichte Belohnung geführt, sodass jeder Explorationsabschnitt kurz ist und eine Richtung hat. Da die Startzustände aus Beziehungsbedingungen stammen und nicht aus einer einzelnen Demonstration, sind die Lagen und Griffe, die die Policy sieht, von Anfang an vielfältig.

Das Training läuft vollständig in der Simulation. Der Begriff Real-to-Sim-to-Real beschreibt die Kette: aus dem realen Video eine simulierte Szene bauen, in der Simulation lernen und die Policy ohne Nachtraining auf eine reale mehrfingrige Hand übertragen. Es werden keine Roboterdemonstrationen verwendet. Das Video liefert die Struktur der Aufgabe, und das bestärkende Lernen feilt im Simulator an den Bewegungsdetails. Diese Arbeitsteilung hat einen praktischen Vorteil: Der Unterschied zwischen menschlicher Hand und Roboterhand, der bei Imitationsverfahren den Retargeting-Fehler verursacht, schlägt nicht direkt auf die endgültige Policy durch. Die Auswertung umfasst fünf Aufgaben zu Werkzeugnutzung und Manipulation. Bei bekannten Konfigurationen, die dem Video entsprechen, übertrifft die Methode die Baselines um 6,5 %. Der Abstand ist bescheiden und zeigt, dass die Baselines unter vertrauten Bedingungen nicht schwach sind. Die auffällige Zahl betrifft unbekannte Szenarien: Entfernen sich Objektlagen, Ziellagen und Griffe von der Demonstration, wächst der Abstand auf 71 %. Dieser Kontrast stützt das Argument des Papers. Strikte Imitation hält sich nahe an der Demonstration und verfällt rasch, sobald man sich von ihr entfernt, während die Abstraktion auf Beziehungsebene die Generalisierung erhält. Beide Zahlen beantworten zudem verschiedene Fragen: Die erste misst den Erfolgsabstand unter vertrauten Bedingungen, die zweite die Robustheit gegenüber Änderungen außerhalb der Trainingsverteilung. Das ist die Frage, die diese Arbeit eigentlich beantworten will.

Mehrere Vorbehalte gehören dazu. Die Zahlen stammen aus der Zusammenfassung eines arXiv-Preprints. Die genaue Zusammensetzung der Baselines, die Verteilung der Schwierigkeit über die fünf Aufgaben und die Zahl der Versuche am realen Roboter lassen sich nur mit dem Volltext beurteilen, weshalb man nicht weit extrapolieren sollte. Die Zusammenfassung sagt auch nicht, ob die Szenengraphen automatisch extrahiert oder von Hand korrigiert werden, was die Skalierbarkeit unmittelbar beeinflusst. Die Lücke zwischen Simulation und Realität hängt weiterhin von der Qualität der Szenenrekonstruktion und des Physikmodells ab. Schließlich muss sich erst zeigen, ob eine phasenweise Zerlegung auch bei längeren und offeneren Aufgaben als den fünf berichteten trägt. Für die Branche liegt der Wert der Arbeit in einem günstigeren Weg am Datenengpass vorbei: Ein menschliches Video und ein Simulator können genügen, um eine Policy zu trainieren, die an einer echten Hand läuft. Das Paper deutet zudem ein allgemeineres Entwurfsprinzip an: Zwischen Demonstration und Exploration zählt die Abstraktionsebene mehr als die Datenmenge. Wird Vorwissen als Beziehungsbedingung ausgedrückt, sperrt es die Policy nicht ein wie die Trajektorienimitation und überlässt die Exploration nicht dem Zufall wie rohes Reinforcement Learning. Eine menschliche Demonstration über Beziehungen statt über Trajektorien auszudrücken, ist ein Ansatz, den Teams für geschickte Robotik genau verfolgen sollten.