OpenMontage : un système de production vidéo agentique et open source

Contexte et définition du problème

La plupart des outils vidéo fondés sur l'IA transforment une invite en un seul clip. Une vidéo achevée exige pourtant de la recherche, un scénario, un plan de scènes, des médias, un montage et un rendu. Chaque étape suppose des décisions qu'un monteur prendrait habituellement. Avant OpenMontage, les équipes assemblaient ces étapes à la main, ou se contentaient d'un seul appel de génération en acceptant le résultat tel quel.

Le projet vise deux lacunes. La première concerne le processus. La production vidéo suit une séquence : sauter la recherche, par exemple, produit des faits fragiles et une structure plate, et ce défaut n'apparaît qu'à la fin. La seconde concerne le coût et la provenance. Beaucoup de solutions « gratuites » se contentent d'animer des images fixes, tandis que la génération vidéo payante facture chaque clip sans grande visibilité. OpenMontage tente de combler ces deux lacunes dans un même système, qui fonctionne à l'intérieur d'un assistant de codage que le développeur utilise déjà.

Au moment de cette analyse, le dépôt affiche 62 899 étoiles sur GitHub. Ce chiffre témoigne d'un intérêt réel, mais il ne prouve pas que les pipelines produisent des résultats de qualité diffusion. Cet article s'appuie d'abord sur la documentation du dépôt, le README, et signale clairement ce qui n'a pas été exécuté.

Architecture et principes techniques

Le choix de conception central est l'absence d'orchestrateur logiciel. Selon le README, l'assistant de codage lui-même joue ce rôle. Le flux de contrôle est le suivant : l'agent lit un manifeste YAML qui énumère les étapes, les outils, les critères de revue et les conditions de réussite. Il lit ensuite la fiche Markdown de réalisation correspondant à l'étape en cours, appelle des outils Python, procède à une auto-revue, puis écrit un point de contrôle. La structure du pipeline est research, proposal, script, scene_plan, assets, edit, compose. Le tableau du README recense onze pipelines, dont Animated Explainer, Cinematic, Documentary Montage et Talking Head. La description du projet en annonce douze. L'écart est mineur, mais un lecteur attentif le remarquera. Les connaissances sont réparties en trois couches. La première, tools/ et pipeline_defs/, décrit ce qui existe. La deuxième, skills/, décrit la manière dont OpenMontage souhaite qu'un outil soit utilisé. La troisième, .agents/skills/, regroupe des packs de connaissances techniques externes. Chaque outil déclare les packs de la troisième couche dont il dépend. Le savoir métier reste ainsi dans du texte modifiable, et non dans des chemins de code figés.

Le choix du fournisseur constitue la partie la plus technique. Chaque appel de génération d'image ou de vidéo, de synthèse vocale ou de musique passe par un évaluateur à sept dimensions pondérées : adéquation à la tâche (30 %), qualité du résultat (20 %), contrôle (15 %), fiabilité (15 %), efficacité des coûts (10 %), latence (5 %) et continuité (5 %). Le fournisseur retenu, son score et les alternatives écartées sont consignés dans un journal de décisions. La gouvernance réside dans le code. L'écrivain de points de contrôle refuse de marquer comme terminée une étape soumise à validation sans approbation enregistrée. La validation avant composition bloque le rendu lorsque la promesse de livraison n'est pas tenue. La revue après rendu exécute ffprobe, extrait des images à quatre positions, analyse les niveaux audio et vérifie les sous-titres. Une vidéo qui échoue à cette revue n'est pas présentée.

Évaluation pratique et applications

Le test le plus clair est la voie gratuite. Le README indique que `make setup` fournit Piper pour la narration hors ligne, Archive.org, la NASA et Wikimedia Commons pour les images libres, Pexels, Unsplash et Pixabay pour les banques d'images, Remotion et HyperFrames pour la composition, et FFmpeg pour l'encodage. Le pipeline de montage documentaire construit à partir de ces sources un corpus interrogeable avec CLIP, puis assemble de véritables plans animés. Cela répond à la critique habituelle selon laquelle l'IA gratuite ne produit que des diaporamas animés. La gestion du budget est également pragmatique. Le plafond total par défaut est de 10 dollars, le seuil d'approbation par action de 0,50 dollar, et trois modes existent : observer, avertir et plafonner. Chaque appel payant suit un cycle d'estimation, de réservation puis de règlement. Les exemples payants du README vont d'environ 0,15 à environ 3 dollars, ce qui correspond à l'ordre de grandeur attendu par un développeur. Plusieurs limites méritent attention. D'abord, le jugement créatif appartient au modèle de langage : le code applique les portes, mais il ne peut pas décider si un scénario est bon. Ensuite, la voie des images réelles dépend d'archives externes et de la qualité de leurs métadonnées. Le README annonce par ailleurs la prise en charge des LLM locaux via Ollama et LM Studio comme « à venir ». Enfin, le budget couvre les appels aux fournisseurs tels que décrits. Les documents consultés ne précisent pas si la consommation de jetons de l'assistant entre dans le plafond. Ce point reste non vérifié.

Pour une équipe, le meilleur usage consiste à obtenir une première version avec des approbations explicites. Les portes de proposition et de scénario maintiennent le contrôle, et le rendu devient une matière à retravailler plutôt qu'un produit fini. La cible de test du dépôt, make test-contracts, fonctionne sans clé d'API. Cette analyse ne l'a pas exécutée : son résultat n'est donc pas vérifié.

Impact sectoriel et perspectives

OpenMontage illustre un schéma qui dépasse la vidéo. Le modèle reste un planificateur, et la fiabilité est confiée à des fichiers, des schémas et des points de contrôle qu'un humain peut lire. Ce schéma convient à tous les domaines où un seul appel de génération ne suffit pas : rapports de données, supports de formation, documentation produit. Pour le marché vidéo, l'effet se fait sentir d'abord sur la première version. Une petite équipe peut produire une explication plausible ou un montage de type documentaire sans studio. Le coût de test d'une idée baisse. En même temps, la revue prend davantage de valeur, parce que la partie facile devient bon marché tandis que le jugement reste coûteux.

Le principal risque est la confiance excessive. Un pipeline qui affiche une liste de contrôle impeccable peut faire paraître achevé un contenu médiocre. La réponse du projet est l'auto-revue après rendu, mais elle vérifie la qualité technique, non la véracité ni le goût. Les spectateurs et les éditeurs doivent toujours vérifier les faits et les droits. La licence des archives et de la musique reste de la responsabilité de l'utilisateur. L'avenir dépend de trois preuves que le dépôt doit apporter. Il faut des modèles locaux capables de faire tourner l'ensemble du pipeline. Il faut des tests montrant que les portes détectent de vraies défaillances sur de vrais projets. Il faut enfin une description claire des coûts, jetons du modèle compris. Si ces conditions sont réunies, OpenMontage pourrait devenir une base standard pour la production pilotée par agents. Sinon, il restera un cadre solide pour ceux qui connaissent déjà la vidéo.