3DCodeVerse: Prüfbarer 3D-Code für KI-Agenten

Hintergrund

Große Sprachmodelle schreiben heute Webseiten und Skripte mit Leichtigkeit. Stabile 3D-Inhalte bleiben dagegen schwierig. Eine 3D-Szene ist mehr als Code, der fehlerfrei läuft: Sie muss auch räumlich stimmig sein. Proportionen, Positionen, Ausrichtung und ungewollte Durchdringungen von Objekten stecken in der Geometrie. Aus dem reinen Codetext lassen sie sich kaum beurteilen.

Bisherige Ansätze stützen sich entweder auf spezialisierte Modellierungssoftware mit geschlossenen Formaten, oder sie liefern nur ein Bild oder ein Mesh. Beides lässt sich nach der Erzeugung schlecht bearbeiten und schlecht prüfen. Hier setzt 3DCodeVerse an. Die Arbeit behandelt 3D-Inhalte als Code, denn ein ausführbares Programm ist bearbeitbar, reproduzierbar und automatisch prüfbar.

Was ist 3DCodeVerse? 3DCodeVerse ist ein Forschungsökosystem, mit dem Coding-Agenten in großem Maßstab bearbeitbare und prüfbare 3D-Inhalte erzeugen. Es besteht aus drei Teilen: dem Datensatz 3DCodeVerse-2M mit eigenständig ausführbaren 3D-Programmen, dem 3DCodeVerse Harness als Multi-Agenten-Framework auf Basis eines gerichteten azyklischen Graphen (DAG) und einer systematischen empirischen Studie. Zusammen decken sie die Kette von den Daten über die Generierung bis zur Verifikation ab.

Tiefenanalyse

Zuerst zu den Daten. 3DCodeVerse-2M ist ein großer, kuratierter Datensatz eigenständig ausführbarer 3D-Programme. Das Korpus speist sich aus drei Quellen: aus Open-Source-Sammlungen, aus der Konvertierung spezialisierter 3D-Darstellungen in Code und aus neu generierten Programmen von Coding-Agenten. Jedes Programm wird mit seinen Quelldateien und den Laufzeit-Ressourcen verpackt, die es in der deklarierten Umgebung zur Ausführung braucht. Ein Beispiel lässt sich also direkt starten, ohne dass Abhängigkeiten fehlen.

Jede Probe enthält außerdem nutzbare Textbeschreibungen und Verifikationsprotokolle. Die Beschreibungen taugen für das Training, weil sie Sprache mit lauffähigem Code verbinden. Die Protokolle erlauben es, die Qualität einer Probe auf die bestandenen Prüfungen zurückzuführen. Eine Aufschlüsselung des Datensatzes nach Quellen nennt die Zusammenfassung nicht. Das genaue Mischungsverhältnis der drei Quellen bleibt hier deshalb offen.

Im 3DCodeVerse Harness kommt die Verifikation in den Arbeitsablauf. Das Multi-Agenten-DAG-Framework erzeugt und verbessert 3D-Inhalte. Drei Signale speisen den Überarbeitungszyklus: Ausführungsprüfungen stellen sicher, dass das Programm läuft. Räumliche Messungen testen, ob Größen, Positionen und andere geometrische Beziehungen plausibel sind. Visuelles Feedback bewertet das gerenderte Ergebnis gegen die Absicht. Das System bewertet und überarbeitet Programme während der Generierung automatisch, ganz ohne menschliches Feedback. Die Verifikation ist ein fester Knoten im Ablauf und keine Stichprobe im Nachhinein. Darin liegt der wichtigste Unterschied zur einmaligen Generierung.

Branchenwirkung

Die Experimente laufen auf zwei Linien. Die erste prüft die Daten: Feinabgestimmte Open-Source-Modelle setzen die Basiswerte, und das Fine-Tuning auf 3DCodeVerse verbessert ihre 3D-Coding-Fähigkeit deutlich. Das spricht dafür, dass ein Teil des Engpasses in den Daten liegt und nicht nur in der Modellgröße.

Die zweite Linie prüft das Harness. In der paarweisen menschlichen Bewertung gewinnt das 3DCodeVerse Harness gegen Claude Design (3D Object) in 90 % der Vergleiche, wenn beide Seiten von Claude Opus 5.5 angetrieben werden. Dieser Versuchsaufbau ist aufschlussreich. Das Basismodell ist auf beiden Seiten gleich, der Abstand stammt also aus dem umgebenden Ablauf: aus der Arbeitsteilung mehrerer Agenten und der automatischen Verifikation. Die Autoren analysieren zudem die Harness-Komponenten und leiten praktische Erkenntnisse zur 3D-Programmierung ab. Zahlen je Komponente nennt die Zusammenfassung nicht. Welches Modul am meisten beiträgt, müsste man den Ablationsergebnissen der Arbeit entnehmen.

Für Forschende im Open-Source-Bereich ist ein ausführbares Korpus mit Quelldateien, Ressourcen und Verifikationsprotokollen selten. Teams können 3D-Coding-Modelle auf gemeinsamer Grundlage trainieren und vergleichen, statt jeweils eigene Daten zu sammeln. Für Spiele, Simulation, digitale Zwillinge und Designwerkzeuge hat Code als Ausgabeformat klare Vorteile: Er lässt sich versionieren, über Parameter ändern, stapelweise wiederverwenden und an automatisierte Tests anbinden. Ein fest erzeugtes Mesh bietet nichts davon.

Ausblick

Der Kreislauf aus Ausführungsprüfung, räumlicher Messung und visuellem Feedback bietet ein wiederverwendbares Muster für Selbstkorrektur ohne menschliche Aufsicht. Denkbar ist die Übertragung auf benachbarte Felder, in denen Ausgaben lauffähig und geometrisch korrekt sein müssen, etwa CAD-Skripte oder die Szenengenerierung für die Robotik. Das ist eine Einschätzung der Redaktion und keine Aussage der Arbeit.

Einige Grenzen verdienen Aufmerksamkeit. Die Gewinnrate von 90 % stammt aus einer paarweisen menschlichen Bewertung gegen ein bestimmtes Produkt, Claude Design (3D Object). Sie setzt zudem ein starkes Basismodell voraus, nämlich Claude Opus 5.5. Wie das Harness mit schwächeren Modellen oder in komplexeren Szenen abschneidet, braucht weitere unabhängige Überprüfung.

Die nächsten Schritte liegen auf der Hand. Man sollte die Ablationstabellen auf den Beitrag jeder Harness-Komponente prüfen. Man sollte testen, ob feinabgestimmte Open-Source-Modelle im Harness den Abstand zu Spitzenmodellen verkleinern. Und man sollte beobachten, ob andere Gruppen 3DCodeVerse-2M als gemeinsamen Maßstab übernehmen. Indem die Arbeit Daten, Ablauf und Erkenntnisse zusammenführt, legt sie für diese Richtung ein solides Fundament.