Designer-RSI : la mémoire procédurale d'un agent de design

Un nouvel article publié sur arXiv, intitulé « Designer-RSI: Evolving Procedural Memory from User Traffic for Agentic Graphic Design » (arXiv:2609.22086), signé par Hongyang Du, Lan Yan, Christian Flores et Asim Kadav, présente un cadre dans lequel un agent piloté par un modèle de langage manipule un logiciel de conception via plus de 230 outils, tout en construisant en continu une bibliothèque de procédures de design réutilisables : une mémoire procédurale qui s'enrichit et se corrige au fil des requêtes réelles des utilisateurs.

Pourquoi une mémoire procédurale plutôt qu'épisodique

La plupart des systèmes d'agents actuels reposent sur une mémoire épisodique ou conversationnelle : se souvenir de ce qui a été dit dans cette session, de ce qui vient d'être fait. Cela fonctionne pour un contexte de courte durée, mais aide peu un agent qui doit manipuler les mêmes outils de conception pour des centaines de requêtes similaires sans être identiques.

Une fois la conversation terminée, la séquence d'appels d'outils improvisée pour résoudre cette tâche disparaît généralement avec elle. Le pari central de Designer-RSI est que ce qui mérite de persister n'est pas « ce qui s'est passé », mais « comment cela a été résolu » : une procédure abstraite, nommée, réutilisable. Cette logique se rapproche de la façon dont les experts humains travaillent réellement : un designer expérimenté ne redécouvre pas les fonctionnalités du logiciel à chaque mission, il s'appuie sur des flux de travail intériorisés qu'il adapte au cas par cas.

Un mécanisme anti-régression pour une bibliothèque de compétences qui se réécrit elle-même

Un choix de conception notable est l'introduction d'un mécanisme qui empêche les améliorations apportées aux procédures existantes de provoquer des régressions, garantissant qu'une nouvelle correction ne casse pas silencieusement ce qui fonctionnait déjà. C'est essentiel pour un système qui réécrit continuellement sa propre bibliothèque de compétences au fil du temps.

Sans une telle protection, chaque cycle de « raffinement » risquerait d'éroder discrètement des capacités déjà acquises, si bien qu'une bibliothèque de compétences qui grossit pourrait accumuler du risque aussi facilement que de la compétence. Cette approche rappelle, dans son esprit, la façon dont le génie logiciel s'appuie sur les tests de régression pour empêcher les changements de code de casser ce qui fonctionne déjà, sauf qu'ici elle s'applique à la bibliothèque de procédures de l'agent lui-même plutôt qu'au code source.

Pourquoi le design est un terrain d'épreuve particulièrement difficile pour l'auto-amélioration

Les auteurs soutiennent que la mémoire procédurale offre une voie pratique pour adapter les agents lorsque le retour est bruyant et difficile à vérifier, et ce cadrage explique précisément pourquoi le design graphique constitue un cas de test si exigeant. Un problème mathématique a une réponse unique ; un code fonctionne ou ne fonctionne pas.

Un résultat de design, en revanche, est jugé selon le goût, la préférence subjective et le contexte, sans score de référence auquel se comparer. Cela signifie qu'un système qui s'auto-améliore dans ce domaine doit distinguer un vrai progrès du bruit sans jamais disposer d'un signal binaire propre sur lequel s'appuyer. Réussir l'auto-amélioration dans ces conditions est sans doute plus difficile que d'y parvenir dans des domaines où la justesse peut être vérifiée clairement.

Ce que suggèrent les chiffres

Sur 1 406 requêtes de conception réelles et 1 869 trajectoires automatisées, la bibliothèque de compétences est passée de 76 à 139 procédures, presque un doublement, tandis qu'une métrique rapportée est passée de 72,7 % à 99,3 %, avec des taux de victoire de 61,8 % à 67,6 % face aux modèles de référence. L'analyse a confirmé que l'acquisition de compétences (apprendre à traiter des tâches jusque-là non couvertes) et le raffinement des procédures (améliorer ce qui existait déjà) ont tous deux contribué de façon substantielle, sans qu'un seul mécanisme porte l'ensemble du gain.

Pris ensemble, ces chiffres pointent vers un manque plus large : la plupart des agents utilisant des outils aujourd'hui déployés n'ont aucun moyen intégré d'apprendre de la répétition. Chaque appel ressemble au premier, et la marge de progression laissée de côté par cette lacune pourrait être bien plus grande qu'on ne le suppose généralement.