CRAFT : Un cadre de fine-tuning de modèles de diffusion personnalisés par sujet sans images cibles synthétiques

Contexte

La personnalisation d'images pilotée par le sujet constitue une capacité fondamentale dans la création de contenu visuel, visant à préserver l'identité d'un ou plusieurs sujets de référence au sein de nouvelles scènes. Les approches dominantes actuelles s'appuient sur des stratégies généralisées qui affinent des Transformers de diffusion multimodaux pré-entraînés (MMDiT) à l'aide de centaines de milliers, voire de millions, de paires « référence-cible ». Ce paradigme présente des défauts majeurs, notamment le coût considérable lié à la construction des cibles synthétiques, qui exige un pipeline de curation de données complexe et multi-étapes. Ce processus inclut la génération de prompts par LLM, la synthèse de cibles par T2I, l'extraction du sujet de référence, le filtrage de qualité par VLM et l'annotation des correspondances. De telles exigences non seulement gonflent les coûts de production des données, mais couplent également étroitement la méthode à des synthétiseurs de cibles et à des choix de curation spécifiques, limitant sévèrement les capacités de généralisation.

Pour répondre à ces défis, l'article introduit le cadre CRAFT (Constrained Reward via Attention Fine-Tuning). CRAFT est un cadre ReFL à étape unique conçu pour affiner efficacement des modèles MMDiT pré-entraînés sensibles aux références en utilisant des données compactes et exclusivement de référence. En éliminant le besoin de supervision par des cibles synthétiques, CRAFT réduit drastiquement la complexité et le coût de la construction des données. Le cadre démontre qu'un entraînement haute performance est réalisable avec seulement 10 000 images de référence et leurs masques de sujets correspondants, offrant une solution plus légère et plus flexible pour la génération personnalisée.

Analyse approfondie

Le cœur technique de CRAFT réside dans son principe unique du « point de fixation » (gaze point), qui guide le modèle pour apprendre la localisation correcte du sujet par le biais de mécanismes de récompense au niveau de l'attention. Spécifiquement, la méthode utilise des adaptateurs LoRA pour affiner le modèle pré-entraîné, en se concentrant sur l'alignement de l'attention du bruit avec l'attention des jetons de phrases. Cet alignement garantit que le modèle prête une attention précise au bon sujet de référence pendant le processus de génération. En établissant ce routage d'attention précis, CRAFT prévient les problèmes courants de désalignement d'attention ou de confusion d'identité observés dans les méthodes traditionnelles.

Sur cette base, CRAFT introduit des masques d'attention par sujet qui servent de portes d'entrée pour les récompenses d'identité au niveau pixel. Cette conception assure que le signal de supervision dans l'espace image reste cohérent avec le routage d'attention appris. La double contrainte des récompenses au niveau de l'attention et au niveau pixel permet à CRAFT de maintenir une haute fidélité de l'identité du sujet dans les images générées, sans supervision explicite par des cibles synthétiques. Cette stratégie de contrôle d'attention fine améliore la capacité du modèle à capturer les caractéristiques du sujet et renforce l'adaptabilité à travers différentes scènes, permettant aux résultats générés de s'intégrer naturellement dans de nouveaux environnements de fond tout en préservant l'identité.

Impact sur l'industrie

En termes de configuration expérimentale, CRAFT a été appliqué au modèle FLUX.2-klein-9B et évalué de manière exhaustive sur le benchmark XVerseBench. Les résultats montrent que CRAFT atteint des performances de l'état de l'art en utilisant seulement 10 000 échantillons de référence uniquement. En contraste, les méthodes généralisées précédentes nécessitent typiquement 150 000 à plus de 2 millions de paires de cibles synthétiques pour obtenir des résultats similaires ou inférieurs. Ce résultat démontre fortement l'avantage significatif de CRAFT en termes d'efficacité des données. Les études d'ablation révèlent par ailleurs l'importance de l'effet synergique entre les récompenses au niveau de l'attention et les récompenses d'identité au niveau pixel, car l'utilisation d'un seul de ces mécanismes ne permet pas d'atteindre les performances optimales.

Notamment, la recette CRAFT présente une transférabilité forte. Lorsqu'elle est appliquée à d'autres architectures de référence, elle améliore constamment les performances. Cela indique que la méthode n'est pas limitée à une architecture de modèle spécifique, mais fournit un paradigme universel de fine-tuning de personnalisation contraint par l'attention, avec une applicabilité large. En découplant le modèle des synthétiseurs de cibles spécifiques, CRAFT améliore la flexibilité et la robustesse, facilitant le déploiement rapide et l'itération dans divers scénarios d'application.

Perspectives

L'introduction de CRAFT a des implications profondes pour la communauté open source et la mise en œuvre industrielle. Premièrement, elle abaisse considérablement la barrière des données pour les modèles de personnalisation de sujets. Cela permet aux petites et moyennes entreprises ainsi qu'aux institutions de recherche d'entraîner des modèles personnalisés haute performance sans l'investissement massif requis pour construire de grands jeux de données synthétiques. Deuxièmement, en découplant la dépendance aux synthétiseurs de cibles spécifiques, CRAFT améliore la flexibilité et la robustesse de la méthode, la rendant plus facile à déployer dans des applications diverses.

Pour la recherche future, le mécanisme de récompense au niveau de l'attention démontré par CRAFT offre de nouvelles perspectives sur la génération contrôlée pour les modèles de diffusion. Il pourrait inspirer davantage de stratégies de fine-tuning basées sur des contraintes d'attention. De plus, la capacité de la méthode à maintenir des performances de l'état de l'art tout en réduisant drastiquement les besoins en données s'aligne avec la tendance actuelle visant un développement de l'IA efficace et durable. CRAFT est en passe de devenir un paradigme standard dans la génération d'images personnalisées, poussant la création de contenu visuel vers une qualité supérieure et un coût inférieur.