Reconstruire AUTOMATIC1111 avec Gradio Workflow : 73 nœuds, 11 pipelines

Contexte et problématique

Depuis son lancement, le client *stable-diffusion-webui* d’AUTOMATIC1111 (A1111) s’est imposé comme une référence incontournable dans le domaine de la génération d’images par intelligence artificielle. Ses panneaux fonctionnels – texte vers image, image vers image, amélioration haute résolution (upscaling), matrice de *prompts*, analyse des métadonnées PNG, intégration de ControlNet – couvrent la quasi‑totalité des besoins, du débutant au spécialiste. Pourtant, l’architecture sous‑jacente d’A1111 reste fondamentalement monolithique : toutes les fonctionnalités sont encapsulées dans une interface Gradio Blocks unique, où toute modification ou extension d’un sous‑module exige une compréhension profonde de l’ensemble du code source. L’utilisateur ne peut pas aisément combiner des *pipelines* hétérogènes – par exemple, injecter directement le résultat d’un LLM dans le champ *prompt* d’un modèle de diffusion, ou brancher le masque de sortie d’un détecteur d’objets sur un processus d’inpainting – sans réécrire du code. Cette rigidité freine la réutilisation : un développeur souhaitant intégrer l’étape d’upscaling d’A1111 dans son propre projet doit la réimplémenter intégralement.

Face à ce constat, l’équipe de Hugging Face a conçu **Workflow1111**, une réimplémentation modulaire des fonctionnalités centrales d’A1111 sur la base du framework *Gradio Workflow* (`gr.Workflow`). Le projet, ouvert sur Hugging Face Spaces, rassemble **73 nœuds** organisés en **11 pipelines** distincts. L’utilisateur se connecte avec son compte Hugging Face, et chaque appel de modèle est routé via les *Inference Providers* de la plateforme – la gestion des quotas et des coûts reste entièrement sous son contrôle. Workflow1111 n’est pas une simple maquette : c’est une implémentation fonctionnelle et « recâblable » qui démontre la faisabilité d’une architecture d’application IA en *low‑code*, où la composition graphique remplace l’écriture de code.

Architecture et mécanisme

Le cœur de Workflow1111 repose sur une philosophie extrêmement simple : tous les *pipelines* multimédia sont construits à partir de quatre types d’**opérateurs** (ou nœuds) que l’on connecte sur un canevas visuel. Chaque opérateur possède des ports d’entrée et de sortie, et le graphe résultant est exécuté de manière déterministe.

Les quatre types sont les suivants :

1. **`fn`** – une fonction Python pure, par exemple pour nettoyer le texte, fusionner des styles de *prompt* ou écrire des métadonnées dans un fichier PNG.

2. **`model`** – un modèle appelé via le *InferenceClient* de Hugging Face (modèles de diffusion, LLM, VLM, classifieurs ViT).

3. **`space`** – un autre Gradio Space, ce qui permet d’imbriquer une application existante (par exemple un espace de suppression d’arrière‑plan).

4. **`dataset`** – une ligne extraite d’un jeu de données du Hub, utile pour le traitement par lots ou la lecture de gabarits.

Tous les nœuds coexistent sur le même canevas, sans qu’il soit nécessaire d’écrire des nœuds personnalisés comme c’est le cas dans ComfyUI. Prenons le *pipeline* central de génération texte‑vers‑image : l’utilisateur saisit un *prompt*, qui transite d’abord par un nœud `fn` (le *prompt‑builder*). Cette fonction concatène l’entrée avec un style prédéfini et nettoie les espaces superflus, puis elle se connecte à un nœud `model` qui invoque le *checkpoint* sélectionné via l’InferenceClient. L’image générée est ensuite acheminée vers un second nœud `fn` qui inscrit les paramètres d’échantillonnage (étapes, CFG, *seed*) dans les métadonnées PNG – le résultat final est une image porteuse de ses propres réglages.

Le *pipeline* d’amélioration haute résolution (upscaling) ajoute simplement un second nœud `model` : l’image de premier passage est envoyée à FLUX.1‑Kontext avec une instruction de raffinement (« améliorer les détails et les micro‑textures, conserver la composition »), produisant une image plus nette et plus détaillée. La logique qui nécessitait deux générations complètes dans A1111 est ici reproduite avec seulement deux nœuds connectés.

Enfin, la combinaison inter‑modale illustre toute la puissance du graphe : un nœud `model` invoquant Qwen3‑4B transforme un *prompt* vague (« un phare dans la tempête ») en une liste structurée de mots‑clés (« mer démontée, rochers mouillés, composition dramatique… »), et cette liste est directement reliée à l’entrée *prompt* du modèle de diffusion. Dans le même esprit, un nœud VLM (Qwen2.5‑VL) peut analyser une photographie et générer un *prompt* descriptif, tandis qu’un classifieur ViT produit en parallèle des étiquettes de confiance – les deux nœuds partagent la même image d’entrée et le moteur Gradio Workflow les exécute automatiquement en concurrence, le temps total restant celui du nœud le plus lent.

Performances et impact pratique

Bien que Workflow1111 n’ait pas encore publié de *benchmark* exhaustif, sa conception révèle plusieurs avantages décisifs par rapport à l’approche monolithique d’A1111.

Accélération par parallélisme : lorsque plusieurs nœuds partagent la même entrée, Gradio Workflow les planifie et les exécute de façon concurrente. Par exemple, l’analyse VLM et la classification ViT se déroulent simultanément, l’utilisateur obtenant les deux résultats en un temps proche du simple nœud le plus long. Dans A1111, cette opération exigerait deux étapes manuelles successives ou le recours à un plugin externe.

Absence de nœuds personnalisés : les outils comme ComfyUI imposent l’écriture d’une classe Python pour enregistrer un nouveau nœud. Workflow1111 limite l’utilisateur à quatre types d’opérateurs – fonction, modèle, Space, jeu de données – qui couvrent l’écrasante majorité des formes de calcul rencontrées en IA générative. L’intégration d’un nouveau modèle ou d’un nouveau service se résume à créer un nœud `model` ou `space`, sans aucune colle logicielle supplémentaire.

Réutilisabilité native : chaque nœud et chaque connexion de Workflow1111 peut être importé tel quel dans un autre projet. L’utilisateur peut dupliquer l’intégralité du Space sur son propre compte, puis le modifier par glisser‑déposer – remplacer le *checkpoint* du *pipeline* texte‑vers‑image par un autre modèle open‑source, ou raccorder le nœud d’upscaling à un autre *pipeline* final. Ce modèle « *fork‑and‑rewire* » est plus intuitif et plus sûr que la copie de code source traditionnelle.

Gestion des ressources : tous les appels de modèles transitent par les *Inference Providers* de Hugging Face, en utilisant le quota personnel de l’utilisateur. Workflow1111 lui‑même ne consomme aucune ressource de calcul – l’utilisateur ne paie que les invocations effectives. De plus, la légèreté des nœuds permet un démarrage du *workflow* bien plus rapide que le chargement complet de l’interface Web d’A1111.

Perspectives et implications

Workflow1111 dépasse largement le statut de « simple clone d’A1111 ». Il valide le concept de *workflow comme application* dans la chaîne d’outils de l’IA générative.

Du code au schéma : à l’époque d’A1111, ajouter une fonctionnalité – par exemple un module d’optimisation de *prompt* par LLM – nécessitait de modifier la mise en page Gradio, d’ajuster les fonctions de rappel et de gérer la synchronisation d’état. Dans Workflow1111, il suffit de glisser un nœud `model` sur le canevas et de le connecter à l’entrée *prompt* du générateur. Ce paradigme *low‑code* abaisse le seuil de développement d’applications IA de « savoir écrire du Python » à « savoir dessiner un diagramme de flux ».

Interopérabilité d’écosystème : grâce à l’opérateur `space`, Workflow1111 peut intégrer n’importe quelle application Gradio existante – suppression d’arrière‑plan, super‑résolution, restauration de visages. Les milliers d’espaces Gradio disponibles dans la communauté deviennent autant de briques réutilisables, accélérant considérablement le prototypage et l’intégration de fonctionnalités.

Évolutions futures : le framework ne limite pas le nombre de nœuds. On peut imaginer y ajouter des *pipelines* de génération vidéo (AnimateDiff), de reconstruction 3D, de traitement en temps réel. Avec les prochaines versions de Gradio Workflow, des fonctionnalités avancées comme le débogage visuel (points d’arrêt sur les nœuds), les branchements conditionnels et les boucles de contrôle devraient voir le jour, conférant au *workflow* la puissance expressive d’un langage de programmation complet.

Impact sur la communauté A1111 : Workflow1111 ne cherche pas à remplacer A1111, mais à proposer un paradigme architectural alternatif. La profonde personnalisation offerte par les scripts et plugins d’A1111 conserve toute sa valeur. Cependant, l’approche modulaire de Workflow1111 est mieux adaptée aux expérimentations rapides et à la réutilisation de composants. À long terme, les deux écosystèmes pourraient s’inspirer mutuellement – A1111 en intégrant un moteur de *workflow* pour simplifier le développement de plugins, Workflow1111 en affinant son expérience utilisateur à la lumière des années de raffinement d’A1111.

En somme, Workflow1111 constitue une réalisation d’ingénierie emblématique : avec ses 73 nœuds, il nous rappelle que l’avenir des applications IA pourrait bien tenir sur une toile que l’on étire, que l’on partage et que l’on fait évoluer par simple glisser‑déposer.