Quand des décisions plus rapides ne font pas de meilleurs agents : 4 500 exécutions de tâches testent la transmission des gains de Jev dans ALFWorld et AndroidWorld

L'article 2610.13092 est paru sur arXiv à la mi-octobre 2026 sous le titre « Quand des décisions plus rapides ne font pas de meilleurs agents : une étude empirique de Jev dans les flux de travail d'agents ». Son point de départ est pratique. Les agents accomplissent leurs tâches en décidant sans cesse, et les LLM en sont d'ordinaire le cœur décisionnel. Jev, apparu récemment, promet de rendre ces décisions plus rapides et moins chères. Mais on ignore si ces économies locales se traduisent par une réalisation efficace et fiable de tâches entières. Notre site a évoqué Jev le 10 octobre : publié par TypeSafe AI, fondé sur un transformeur mais pas un LLM, il produit des probabilités et non du texte. L'article le nomme « modèle de système 1 », qui rend des jugements définis par instruction via des sorties typées, dont des probabilités sur des choix fournis. La conception d'abord. Les auteurs retiennent deux cadres représentatifs : les tâches domestiques incarnées d'ALFWorld, avec l'environnement texte et les 134 tâches de la partition valid_unseen, et l'usage d'applications mobiles d'AndroidWorld, avec des observations d'interface en texte et une instance fixe pour chacun des 116 types de tâches. Parmi les cinq familles d'agents, ALFWorld compte ReAct et Reflexion, AndroidWorld T3A, AutoDroid et le FastAgent de Droidrun. Dans chaque famille, ils remplacent la sélection d'action par une requête Jev par étape de décision, en gardant observation, historique et mécanismes d'exécution, et comparent à l'original ; ALFWorld ajoute un témoin « LLM-Choice » où le LLM choisit dans la même liste de candidats. Chaque configuration est exécutée trois fois sur les mêmes tâches, soit 4 500 exécutions. Toutes les décisions du LLM et la génération auxiliaire utilisent gpt-5.6-luna, et les décisions de Jev jev-1.13.0. La comptabilité des coûts par million de jetons est de 0,20 $ en entrée du LLM, 1,20 $ en sortie, 0,042 $ en entrée de Jev et zéro en sortie de Jev.

Les résultats. La première couche est l'efficacité, et l'écart est inégal. Sur ALFWorld, ReAct-J et Reflexion-J atteignent 96,02 % et 98,01 % de réussite, soit 1,49 et 1,74 point de moins que les originaux ; avec l'interface de candidats partagée, les écarts tombent à 1,00 et 0,00 point. Sur AndroidWorld, Jev est en retrait de 13,22, 2,30 et 18,10 points par rapport à T3A, AutoDroid et FastAgent, les deux variantes AutoDroid restant sous 20 % de réussite. La difficulté ne dépend pas que de la longueur : les variantes Jev atteignent 100 % sur les tâches « examiner, poser, refroidir » d'ALFWorld mais perdent environ 8,6 et 7,5 points sur le nettoyage, et sur AndroidWorld T3A et FastAgent perdent 12,5 et 15,3 points même dans la strate au budget le plus court. La deuxième couche, le coût et le temps : les économies se transmettent plus aisément que la vitesse. Sur ALFWorld, ReAct et Reflexion réduisent le coût de 50,9 % et 32,6 % et le temps de 47,6 % et 37,8 %. Sur AndroidWorld, T3A, AutoDroid et FastAgent réduisent le coût de 17,1 %, 68,8 % et 43,0 % mais le temps de seulement 10,6 % et 5,7 %, et FastAgent augmente de 0,7 % ; toutes les familles consomment plus de jetons par tâche. La raison : le travail hors sélection absorbe les gains. ReAct de référence passe 68,31 s sur 71,17 s à choisir des actions ; Jev ramène cela à 17,25 s et conserve de fortes économies même après 17,23 s de raisonnement auxiliaire. La génération auxiliaire de T3A passe de 67,47 s à 96,99 s et représente 81,9 % de la dépense d'inférence de Jev ; FastAgent prend 44,1 % de décisions en plus, sa configuration d'un outil par étape associant décisions moins chères et séquences d'interaction plus longues.

La troisième couche est l'essentiel : la complétion détermine la valeur des économies. Sur les paires tâche-exécution menées à bien par les deux configurations, ALFWorld conserve 64,8 à 66,2 % de coût en moins et 59,2 à 60,8 % d'exécution en moins. Mais en comptant les échecs, le tableau change : dans Reflexion-J, 2,0 % des exécutions consomment 53,3 % de la dépense d'inférence par des reprises infructueuses. Par succès livré, le coût baisse dans quatre familles mais monte de 7,7 % pour T3A, de 68,70 à 73,97 mUSD, avec un intervalle à 95 % qui contient zéro ; aux moyennes observées, la complétion plus faible annule l'économie de 17,1 % par tentative de T3A. Le temps de tâche quasi inchangé de FastAgent avec une complétion moindre fait passer le temps par succès livré de 239,4 à 377,8 s. La quatrième couche, les traces d'échec. Les auteurs ont codé à la main 43 paires de tâches, soit 258 exécutions, avec deux auteurs étiquetant indépendamment et un kappa de Cohen moyen de 0,867. Dans le groupe où Jev échoue durablement alors que la référence réussit, 40 des 57 exécutions de Jev comportent une reprise échouée et 29 une recherche inefficace, contre 3 et 2 pour la référence. Cas typique : sur une tâche Wi-Fi, Jev choisit un interrupteur au libellé ambigu et déclare avoir terminé alors que l'objectif n'est pas atteint, ce qui ferme toute chance de correction ; sur ALFWorld, il prend une serviette pour un chiffon et le raisonnement se poursuit sur le mauvais objet. Reflexion-J réussit 95,27 % des premiers essais, plus que les 93,53 % de la référence, mais ne rattrape ensuite que 11 des 19 échecs initiaux, contre 25 sur 26 pour la référence, d'où une réussite finale plus basse.

La discussion indique deux directions. Pour le développement de modèles, les auteurs suggèrent de garder des sorties numériques concises tout en renforçant la sensibilité aux objectifs, aux préconditions des actions et aux retours contradictoires, d'entraîner sur des trajectoires réussies et échouées contrastées et d'ajouter une confiance calibrée sur le fait qu'une action disponible fait avancer l'objectif. Pour la conception de systèmes, traiter la décision comme un composant explicite à entrées, résultats et coûts observables ; les interfaces de candidats devraient exposer l'identité de la cible, les préconditions et les changements d'état attendus ; les contrôles devraient viser les jugements de complétion et les absences répétées de progrès, là où les échecs deviennent terminaux ou persistants. Les auteurs soulignent que les comparaisons portent sur les intégrations évaluées, car la construction des candidats, la génération auxiliaire et le retour influencent les résultats, et que les comparaisons entre familles reflètent aussi des budgets d'interaction et des conceptions de flux différents. Notre lecture : l'article réécrit un récit marketing courant en question testable : décisions bon marché ne veut pas dire résultats bon marché. Ses chiffres sont précis, ses limites aussi : observations texte seulement, cinq familles d'agents, une graine fixe. Le conseil pratique pour les équipes : avant d'adopter un modèle de décision « petit et rapide », mesurer la part du temps de votre flux qu'il couvre réellement, mesurer le coût de la reprise après échec, et l'accepter sur le coût et le temps par livraison réussie, non sur le prix par appel.