CLI-Anything : rendre tout logiciel pilotable par IA

Contexte

La plupart des logiciels de bureau ont été conçus pour des humains : boutons, menus, poignées de déplacement et boîtes de dialogue supposent un opérateur doté d'yeux et d'une souris. Les agents IA remettent en cause ce postulat. Lorsqu'un modèle pilote une application à partir de captures d'écran et de clics simulés, le procédé reste lent et fragile : un simple remaniement de l'interface suffit à le faire échouer. CLI-Anything, projet open source du laboratoire Data Intelligence de l'Université de Hong Kong (HKUDS), s'attaque à ce point précis. Son objectif affiché : rendre presque tout logiciel utilisable par des agents, sans interface graphique dans la boucle.

L'idée est simple. Les agents lisent bien le texte, écrivent des commandes et analysent des sorties structurées. Le projet dote donc chaque application d'une couche en ligne de commande. Ce qui exigeait une souris devient une commande que l'on peut scripter et combiner. CLI-Anything se place entre l'automatisation logicielle classique et les protocoles récents d'accès aux outils par les agents. Il vise les logiciels hérités, sans API ouverte ni serveur MCP prêt à l'emploi.

L'intérêt est tangible : le dépôt GitHub dépasse 54 000 étoiles, signe que de nombreux développeurs reconnaissent ce besoin.

Analyse approfondie

Que livre concrètement CLI-Anything ? Deux choses. D'abord, une méthode pour générer et entretenir des surcouches CLI adaptées à chaque programme. Ensuite, CLI-Hub, qui sert de registre et d'installateur. Le développeur exécute pip install cli-anything-hub, puis cli-hub install pour récupérer l'outil voulu. Ces surcouches fonctionnent avec Pi, OpenClaw, nanobot, Cursor et Claude Code : une même CLI n'est donc liée ni à un modèle ni à un produit. L'activité du projet révèle trois priorités. La première est la sécurité : la CLI de Rekordbox protège le chemin d'écriture vers SQLCipher et impose une sauvegarde avant toute écriture, tandis que la CLI de Sketch a corrigé une traversée de chemin et une évasion par lien symbolique dans la gestion du fichier de jetons. La deuxième est la rigueur d'ingénierie : la CLI de Joplin a été soumise avec 134 tests comme base de vérification, et celle de Calibre embarque 41 tests unitaires ainsi que des preuves de bout en bout avec un vrai Calibre. La troisième est l'étendue de la couverture : notes, livres numériques, gestion musicale, maillages 3D, information géographique et éditeur d'Unreal Engine figurent au registre ou dans les propositions.

Face à la RPA ou au contrôle d'ordinateur par captures d'écran, l'approche échange une incertitude contre une autre. Deviner ce qu'affiche un écran devient l'appel d'une commande nommée. Les échecs sont plus faciles à localiser, car une commande réussit ou renvoie une erreur que l'agent peut lire. Comment une équipe commence-t-elle avec CLI-Anything ? Elle consulte d'abord CLI-Hub pour savoir si une surcouche existe pour son logiciel, puis l'installe. Sinon, deux voies s'ouvrent : déposer une demande dans la liste de souhaits, ou devenir contributeur, construire un nouveau harnais CLI et le faire relire puis fusionner dans le registre public. Les démonstrations montrent des agents qui utilisent les CLI générées avec aperçu, aperçu en direct et boucle de trajectoire. Les résultats comprennent des modèles de CAO, des scènes 3D, des graphiques, des parties de jeu et des sous-titres. L'agent voit les résultats intermédiaires et corrige l'étape suivante. La documentation existe en anglais, chinois, japonais et allemand.

Impact sur l'industrie

CLI-Anything tente de transformer la préparation des logiciels aux agents, aujourd'hui dispersée entre éditeurs, en infrastructure partagée et construite par la communauté. Si le registre continue de croître, les développeurs d'agents n'auront plus à refaire chaque intégration, et les équipes d'ingénierie pourront intégrer plus vite leurs outils de bureau internes à leurs flux de travail.

Le rythme des contributions est déjà visible. Rien qu'à la fin de mai 2026, le projet a fusionné ou proposé une compétence d'orchestration Hermes et des surcouches pour ArcGIS Pro, Obsidian Agent CLI, Joplin, Rekordbox, Calibre, 3MF, MiniMax et UEAtelier. Les surcouches existantes pour Zoom, Obsidian et LibreOffice ont aussi reçu des correctifs de qualité et de sécurité.

Les risques demeurent. La qualité des surcouches sera inégale : stabilité, limites de permissions et compatibilité de versions varient d'une CLI communautaire à l'autre, et l'utilisateur doit les évaluer. Les outils qui écrivent dans une base de données ou dans des fichiers personnels exigent une sauvegarde préalable. Laisser un agent exécuter des commandes élargit aussi la surface d'attaque ; les problèmes de traversée de chemin et de jetons déjà rencontrés dans la CLI de Sketch montrent qu'une revue continue s'impose. Enfin, une mise à jour d'application peut casser une surcouche, et le coût de maintenance retombe sur la communauté.

Perspectives

Trois questions détermineront la suite. Le processus de relecture et de signature des entrées du registre suivra-t-il la croissance ? Un hub qui installe des commandes pour des agents ne vaut que par son contrôle. Les boucles d'aperçu et de retour pour les logiciels graphiques dépasseront-elles les démonstrations actuelles ? La CAO, la 3D et la musique exigent que l'agent voie les résultats, pas seulement qu'il envoie des commandes. Enfin, comment CLI-Anything se partagera-t-il le terrain avec d'autres standards d'intégration d'agents, comme MCP ?

Pour les développeurs et les équipes qui veulent faire piloter par des agents des logiciels de CAO, de 3D, de documents ou de musique, la démarche pratique est modeste : chercher le logiciel dans CLI-Hub, tester la surcouche sur des données jetables et sauvegarder tout ce qu'elle peut modifier. Si le registre maîtrise sécurité et maintenance, il pourrait devenir une porte d'entrée commune pour que les agents manipulent de vrais logiciels.