FixAnything: 3D-Rendeartefakte mit einem Video-Generierungs-Prior beheben

Hintergrund

Ein hartnäckiges Problem der 3D-Computergrafik besteht darin, dass das Rendern aus Szenenrepräsentationen sichtbare Artefakte erzeugt, sobald die Eingabeviews dünn besetzt sind oder das Zielview weit von den aufgenommenen Winkeln entfernt liegt. Egal ob Gauss-Splatting (3DGS), neuronale Strahlungsfelder (NeRF), Meshes oder Punktwolken zum Einsatz kommen: Diese Formate neigen unter稀疏em Input oder bei großwinkligem Novel-View-Synthesen dazu, strukturelle Chaos, Unschärfe oder Fehlausrichtungen offenzulegen. Die Folge ist ein Bild, das aus Perspektiven gebrochen wirkt, die das System während des Trainings oder der Erfassung nie gesehen hat.

Bestehende Methoden, die auf Diffusions-Priorien basieren, gehen dieses Problem an, passen ihre Architektur jedoch meist an eine einzige Repräsentation an oder verlangen ein umfangreiches Neutraining. Praktische Folge ist, dass für jede 3D-Repräsentation eine eigene dedizierte Inpainting-Pipeline nötig ist, was Wartungs- und Erweiterungsaufwand multipliziert. Forschern fehlte daher ein einheitlicher Ansatz, der Artefakte repräsentationsübergreifend beheben konnte, ohne das Modell für jedes Format neu aufzusetzen.

Die论文 führt FixAnything ein, ein zweckfreies Modell zur Behebung einer breiten Klasse von Rendeartefakten statt nur eines einzelnen Formats. Sein zentraler Beitrag besteht darin, das Inpainting als übertragbare Aufgabe und nicht als repräsentationsspezifisches Ingenieursproblem zu begreifen. Indem die Autoren das über mehrere Repräsentationen verstreite Arbeiten in einem Framework zusammenführen, streben sie eine Verringerung des Aufwands für die Unterstützung neuer 3D-Formate in der Zukunft an.

Tiefenanalyse

Die zentrale Einsicht der Autoren ist, dass auch verrauschte Rendern die Kamerabewegung und grobe Szenenstruktur bewahren. Weil die zeitliche Sequenz erhält, wie sich die Szene beim Kamerasprung verschiebt, lässt sich das Inpainting als Video-zu-Video-Übertragung neu formulieren. Diese Umdeutung ermöglicht es, bereits trainierte Video-Generierungsmodelle mit minimalem architektonischen Wandel und leichtem Fine-Tuning wiederzuverwenden und die repräsentationsübergreifende Reparaturfähigkeit direkt zu übertragen.

FixAnything macht ein vortrainiertes Video-Generierungsmodell nutzbar und schöpft das implizite Mehransichtsprior aus großen Video-Korpora aus, statt ein Netz von Grund auf zu entwerfen. Videomodelle lernen, wie sich Szenen mit der Kamerabewegung verändern, eine Regel, die Konsistenz zwischen den Ansichten einschließt. Um dem Modell zu zeigen, welche Strukturen erhalten und welche verfeinert werden müssen, führen die Autoren eine binäre Maske zur Markierung sauberer Pixel ein. Diese Maske verankert die Ausgabe an hochwertigen Eingaben wie den Trainingsviews und konzentriert sich auf die Verfeinerung ungepflasterter Bereiche, was zugleich die Beschädigung korrekter Regionen und diestrukturelle Verzerrung unscharfer Gebiete verhindert.

Damit die reparierten Rendern die nachgelagerte 3D-Rekonstruktion unterstützen, verwenden die Autoren die Genauigkeit der Kamerapose als Belohnungssignal, kombiniert mit direkter Präferenzoptimierung (DPO). Die Pose-Genauigkeit wird über Structure-from-Motion wiederhergestellt, sodass ein Rendern, das eine präzisere Rekonstruktion der Kamerabewegung erlaubt, als überlegen gilt. Diese Konsistenzbelohnung vereinheitlicht visuelle Qualität und geometrische Zuverlässigkeit in einem einzigen Trainingsziel und erklärt, warum ein scheinbar simples Video-zu-Video-Framework beide Anforderungen erfüllen kann.

Branchenwirkung

Die论文 bewertet FixAnything über vier verschiedene 3D-Repräsentationen hinweg—Gauss-Splatting, NeRF, Meshes und Punktwolken—um die Allgemeinheit zu verifizieren. Die Ergebnisse zeigen, dass das Modell auf jeder Repräsentation durch leichtes Fine-Tuning die Rendernqualität stabil verbessert, statt nur für ein einziges Format zu arbeiten. Diese repräsentationsübergreifende Konsistenz spiegelt direkt das Designziel des Frameworks wider und zeigt, dass ein einzelnes allgemeines Video-Prior mehrere speziell angefertigte Inpainting-Pipelines ersetzen kann.

Ablations- und Wirkungsanalysen führen auf zwei Kerndesigns zurück: die Verankerungswirkung der binären Maske und die DPO-Belohnung auf Basis der Kamera-Pose-Genauigkeit. Die Maske verfeinert die verbleibenden Bereiche und bewahrt hochwertige Pixel, um strukturelle Schäden durch Übergenerierung zu vermeiden, während die Präferenzoptimierung die für die nachgelagerte Rekonstruktion nötige geometrische Konsistenz explizit in das Training einwebt. Zusammen erklären diese, wie das Framework Bildqualität und geometrische Zuverlässigkeit ausbalanciert.

Für die Open-Source-Community senkt die Wiederverwendung eines vortrainierten Videomodells mit leichtem Fine-Tuning die Hürde für Nachbau und Weiterentwicklung und erlaubt es späteren Forschern, neue Generierungsmodelle kostengünstig auszuprobieren. Für die industrielle Bereitstellung profitieren Aufgaben wie 3D-Rekonstruktion, Visualisierung oder Inhaltsgenerierung, die unter dünn besetzten oder großwinkligen Bedingungen rendern müssen, von einem einzigen Reparaturmodell, das den Personal- und Berechnungsaufwand für die getrennte Wartung von Pipelines pro Repräsentation verringert.

Ausblick

Die Autoren betonen, dass die Einfachheit des Frameworks stärkere Video-Generierungsmodelle direkt in der Zukunft integrieren lässt, ohne die Architektur neu zu entwerfen, und Leistungsgewinne in unmittelbare Verbesserungen umsetzt. Dieses evolutionstaugliche Design ermöglicht es der aktuellen Arbeit, kontinuierlich vom Fortschritt im breiteren Feld der Video-Generierung zu profitieren.

Die demonstrierte Übertragbarkeit des impliziten Mehransichtsprior in Videomodellen sowie die Machbarkeit der Nutzung geometrischer Konsistenz als Belohnungssignal bieten einen wiederverwendbaren Weg, Generierungs-Priorien enger mit 3D-Wiederherstellungsaufgaben zu koppeln. Forschern steht es nun frei, stärkere Video-Backbones und reichhaltigere Belohnungsformulierungen zu erkunden, ohne das Reparatursystem neu aufzusetzen.

Letztlich stellt FixAnything die 3D-Artefakt-Reparatur als Problem der Übertragung ausgereifter Video-Priorien um, statt pro-Format-Lösungen neu zu erfinden. Während Videomodelle fähiger werden, ist das Framework positioniert, diese Gewinne direkt zu erben und macht die repräsentationsübergreifende Rende-Reparatur zunehmend wirtschaftlich und breit anwendbar.