FixAnything : Réparer les artefacts de rendu 3D avec un prior de génération vidéo

Contexte

La synthèse de vues à partir de représentations 3D demeure une source récurrente d'artefacts visuels. Lorsqu les vues d'entrée sont rares ou que la vue cible s'éloigne des angles capturés, les formats tels que le splatting gaussien (3DGS), les champs de radiance neuronale (NeRF), les maillages ou les nuages de points révèlent des désordres structurels, du flou ou des décalages. Le rendu apparaît alors dégradé là où le système n'a jamais observé la scène.

Les méthodes existantes à prior de diffusion pallient partiellement ce problème, mais elles personnalisent généralement leur architecture pour une seule représentation ou exigent un réentraînement lourd. Chaque représentation 3D se voit ainsi attribuer sa propre pipeline de retouche, multipliant les coûts de maintenance. Il manquait une approche unifiée capable de réparer ces artefacts sans reconstruire le modèle pour chaque format.

FixAnything propose un modèle polyvalent réparant une large classe d'artefacts plutôt qu'un seul format. Son apport central consiste à traiter la retouche comme une tâche transférable plutôt que comme un problème d'engineering par représentation, convergent les travaux dispersés vers un cadre commun.

Analyse approfondie

L'idée clé des auteurs est que même un rendu bruité conserve le mouvement de caméra et la structure grossière de la scène. La séquence temporelle conservant la façon dont la scène se déplace avec la caméra, la retouche peut être reformulée en traduction vidéo-à-vidéo. Cette reformulation permet de réutiliser des modèles de génération vidéo déjà entraînés, avec une modification architecturale minimale et un fin ajustement léger.

FixAnything réaffecte un modèle de génération vidéo entraîné, exploitant le prior multivue implicite absorbé depuis de larges corpus vidéo plutôt que de concevoir un réseau depuis zéro. Ces modèles apprennent comment les scènes évoluent sous le mouvement de caméra, une规律 encodant naturellement la cohérence entre les vues. Un masque binaire marquant les pixels propres indique au modèle quelles structures préserver et quelles zones raffiner. Ce masque ancre la sortie sur des entrées de haute qualité, comme les vues d'entraînement, tout en concentrant l'effort sur les régions non encore réparées, évitant à la fois la corruption des zones correctes et la distorsion des zones floues.

Pour que les rendus réparés soutiennent la reconstruction 3D aval, les auteurs utilisent la précision de pose comme signal de récompense, combinée à l'optimisation de préférence directe (DPO). La précision de pose est récupérée par structure-from-motion : un rendu permettant une reconstruction plus fidèle de la trajectoire caméra est jugé supérieur. Cette récompense de cohérence géométrique unifie qualité visuelle et fiabilité géométrique au sein d'un unique objectif d'entraînement.

Impact sur l'industrie

L'évaluation porte sur quatre représentations 3D distinctes — splatting gaussien, NeRF, maillages et nuages de points — pour vérifier la généralité du modèle. Sur chaque représentation, FixAnything améliore stablement la qualité du rendu par fin ajustement léger, et non pour un seul format. Cette constance traversant les représentations reflète directement l'objectif du cadre et démontre qu'un seul prior vidéo générique peut remplacer plusieurs pipelines dédiés.

Les analyses d'ablation s'attribuent à deux conceptions : l'effet d'ancrage du masque binaire et la récompense DPO basée sur la précision de pose. Le masque raffine les régions restantes tout en préservant les pixels de qualité, évitant les dégâts structurels liés à une sur-génération, tandis que l'optimisation de préférence intègre explicitement la cohérence géométrique requise par la reconstruction aval.

Pour la communauté open source, réaffecter un modèle vidéo entraîné par fin ajustement abaisse la barrière à la reproduction et au développement ultérieur, permettant de tester de nouveaux modèles de génération à faible coût. Pour le déploiement industriel, des tâches comme la reconstruction 3D, la visualisation ou la génération de contenu, nécessitant un rendu sous conditions rares ou grands angles, bénéficient d'un unique modèle réparateur réduisant les coûts humains et calculatoires de maintenance par représentation.

Perspectives

Les auteurs soulignent que la simplicité du cadre permet d'intégrer directement des modèles de génération vidéo plus performants à l'avenir, sans redéigner l'architecture, convertissant les gains de performance en améliorations immédiates. Cette conception prête à l'évolution laisse le travail actuel bénéficier continuellement des progrès du domaine plus large de la génération vidéo.

La transférabilité démontrée du prior multivue implicite des modèles vidéo, ainsi que la faisabilité de l'utiliser comme signal de récompense, offrent un chemin réutilisable pour coupler plus étroitement les priors de génération aux tâches de récupération 3D. Les chercheurs peuvent désormais explorer des backbones vidéo plus puissants et des formulations de récompense plus riches sans reconstruire le système de retouche.

FixAnything reformule in fine la réparation d'artefacts 3D comme un problème de transfert de priors vidéo matures plutôt que de réinventer des solutions par format. À mesure que les modèles de génération vidéo gagnent en capacité, le cadre est positionné pour hériter de ces gains directement, rendant la réparation de rendu traversant les représentations de plus en plus économique et largement applicable.