Des auteurs de harness-hub publient Harness adapters sur Hugging Face : des adaptateurs LoRA entraînés par RL dans pi, opencode et hermes et protégés par safeagents contre le détournement de récompense, mais moins d'appels d'outils à précision égale n'est rapporté que par des essais rapides, les exécutions finales étant encore diffusées

Le 6 novembre 2026, des auteurs de l'organisation harness-hub ont publié sur le blog de Hugging Face un article communautaire intitulé Harness adapters: Safe RL for efficient agentic development (adaptateurs de harnais : apprentissage par renforcement sûr pour un développement agentique efficace). Il décrit de petits adaptateurs LoRA, un par modèle et par harnais d'agent, entraînés par apprentissage par renforcement (RL) à l'intérieur des harnais non modifiés pi, opencode et hermes. L'idée est de remplacer le modèle derrière un agent de code local par l'adaptateur entraîné dans cet agent. L'article présente aussi safeagents, un proxy qui vérifie chaque appel d'outil pendant l'entraînement. C'est un article communautaire, pas une annonce de la société Hugging Face, et les entraînements finaux sont encore en cours.

La configuration est concrète. Trois modèles sont entraînés : LFM2.5-24B-A2B, un modèle à mélange d'experts avec 2 milliards de paramètres actifs, et LFM3-1.7B pour les essais principaux, plus TwIL-8B, un modèle de raisonnement dense de 8,8 milliards de paramètres, à titre d'expérience, car sa fiche indique qu'il n'a pas été entraîné sur des données agentiques. L'entraînement utilise l'algorithme GRPO avec l'AsyncGRPOTrainer de TRL, des adaptateurs LoRA de rang 32 sur chaque couche linéaire, 8 rollouts par tâche et un taux d'apprentissage de 1e-5. Les exécutions prévues sont de 200, 400 et 300 étapes pour les trois modèles, sur Hugging Face Jobs avec 2 GPU H200 pour LFM3-1.7B et 4 pour les autres. La récompense est le résultat du vérificateur de la tâche, plus un petit bonus pour un usage réduit d'outils, 0,1 fois un moins les appels divisés par 15, versé seulement sur les rollouts corrects.

Un seul modèle de base peut servir tous les harnais à la fois. Un unique serveur vLLM charge les poids de base une seule fois, et chacun des trois entraîneurs envoie des requêtes qui nomment son propre adaptateur, sans attendre les autres. La même astuce sert à l'évaluation : neuf points de contrôle de LFM2.5-24B-A2B, 1 350 sessions d'agent au total, ont tourné dans un seul job H200 en moins d'une heure pour environ 5 dollars de GPU. Les auteurs estiment que fusionner et servir chaque point de contrôle séparément aurait coûté environ 90 dollars.

L'entraînement est asynchrone. Chaque entraîneur garde jusqu'à 48 sessions d'agent en cours, soit environ 6 tâches de 8 rollouts chacune ; TwIL-8B n'en garde que 12, son raisonnement long saturant plus vite la mémoire, et une tâche n'entre dans la file que lorsque ses 8 rollouts sont notés, car GRPO les compare entre eux. Une étape regroupe les rollouts terminés en 4 micro-lots sous un budget de 131 072 jetons pour LFM2.5-24B-A2B et de 65 536 pour les deux autres, si bien que le nombre de tâches par étape varie. Les rollouts lancés plus de 4 versions d'adaptateur plus tôt sont écartés. Pour LFM3-1.7B, les trois entraîneurs partagent même un seul GPU, car des essais antérieurs passaient environ 35 secondes par étape en passes avant et arrière, mais plusieurs minutes à attendre les bacs à sable.

Les tâches d'entraînement viennent de deux sources. SmolDataEnvs regroupe des questions d'analyse de données bâties sur des carnets Kaggle publics. Repo2RLEnvs reconstruit des tâches à partir de sessions d'agents ouvertes que des gens ont publiées sur le Hub, de quatre types : repair, qa, build et extend. Chaque candidat passe six contrôles, et une tâche exige un oracle vérifiable. L'ensemble publié de 270 tâches est très déséquilibré : 253 sont des tâches build, soit 94 %, contre 11 repair, 6 extend et aucune qa. Chaque exécution mélange les deux sources, en réservant 40 tâches Repo2RLEnvs et 150 tâches SmolDataEnvs à l'évaluation.

La partie sécurité est safeagents, un proxy inverse placé entre le harnais et le serveur de modèle. Il vérifie chaque appel d'outil avec des règles, pas avec un modèle, en environ 10 à 20 millisecondes : l'appel doit utiliser un outil déclaré, tout hôte atteint doit apparaître dans la conversation, et un analyseur appelé atif-scan, étendu par les plugins des auteurs, cherche la falsification de récompense, la modification de tests, la recherche de réponses et l'usage d'identifiants. Un appel bloqué est remplacé par un avis textuel, et tout rollout contenant un avis obtient 0. Dans l'essai rapide de TwIL-8B, à l'étape 0, le modèle a cherché le bucket de stockage contenant les données sources d'une tâche, et l'appel a été bloqué. Dans une ablation de 50 étapes avec pi et LFM2.5-24B-A2B, l'activation de la protection a modifié le pass@1 sur les tâches réservées de 0,0, avec une incertitude de 4,1 points, sans changement net détecté dans cette ablation ; l'incertitude de ±4,1 points ne prouve pas un coût nul ailleurs. Les auteurs ont aussi corrigé une règle qui visait d'abord à tort un fichier de notation légitime, et 213 sessions réanalysées avec les deux plugins n'ont déclenché aucune règle.

Ce que l'article ne montre pas, c'est le résultat final. Son résumé dit que, sur les tâches réservées, dans des essais d'entraînement rapides, les adaptateurs font moins d'appels d'outils que le modèle de base tout en gardant ou en améliorant la précision, mais il ne donne aucun tableau de chiffres, et les exécutions complètes sont diffusées sur un tableau de bord en direct. Les résultats viennent de petits modèles, de trois harnais et d'un mélange de tâches surtout de type build. Nous n'avons rien exécuté de tout cela.

Notre lecture : c'est une recette intéressante et inhabituellement ouverte. L'idée de safeagents, un proxy déterministe qui bloque et annule les tentatives de détournement de récompense sans changement net de précision détecté dans cette ablation précise (±4,1 points), peut servir à quiconque fait du RL sur des agents de code, et le dépôt safeagents est sous licence Apache-2.0. L'affirmation selon laquelle les adaptateurs rendent les agents locaux plus efficaces reste une promesse. Il vaut mieux attendre les exécutions finales et le tableau de bord en direct avant de s'y fier, et vérifier qu'un adaptateur existe pour votre propre harnais et votre modèle.