IBM publie LLMON et les préversions Granite 4.1 3B/8B sur le blog de Hugging Face

Published · AI Daily — AI-assisted deep research, methodology & disclosure

IBM présente LLMON sur le blog de Hugging Face : un langage de balisage qui sépare instructions et données, avec deux préversions Granite 4.1 de 3B et 8B.

L'annonce

Le 12 novembre 2026, IBM a publié sur le blog de Hugging Face un article qui présente LLMON, pour LLM Object Notation, prononcé « lemon ». Il s'agit d'un langage de balisage conçu pour les grands modèles de langage plutôt que pour les analyseurs syntaxiques. IBM l'accompagne de deux modèles expérimentaux en préversion, dérivés des modèles de base Granite 4.1 : granite-4.1-3b-LLMON-preview et granite-4.1-8b-LLMON-preview. Un dépôt GitHub fournit une boîte à outils pour manipuler LLMON, ainsi que des exemples de flux de travail et des modèles. IBM précise sans détour qu'il s'agit d'une préversion expérimentale, prête pour l'exploration et l'évaluation, mais pas pour la production.

Le problème

Un modèle génère ses prochains jetons à partir de son contexte. Sur une tâche longue, ce contexte se remplit d'éléments de nature différente : un prompt système, les tours précédents, des instructions qui portent sur des documents récupérés, des réponses d'outils, des données de l'utilisateur, des contraintes sur la sortie et des chaînes de raisonnement. La structure est riche, mais elle reste en grande partie implicite, ou bien elle est codée dans des formats comme JSON, qui n'ont jamais été conçus pour être lus par un modèle de langage. IBM y voit l'une des raisons principales pour lesquelles les petits modèles sont fragiles et échouent de manière inattendue. Cela laisse aussi de la place aux attaquants. Dans une injection de prompt indirecte, une instruction malveillante se cache dans un document récupéré, une réponse d'outil ou une donnée utilisateur, et le modèle ne distingue pas une commande d'une simple matière à lire.

Le fonctionnement de LLMON

LLMON marque chaque composant sémantiquement cohérent avec une balise porteuse de sens. Les balises sont entourées de délimiteurs formés de jetons spéciaux réservés. Les schémas de données, y compris l'imbrication, sont énoncés de façon qu'un modèle causal puisse les lire sans ambiguïté. Chaque bloc porte un identifiant unique, si bien qu'une instruction située n'importe où dans le contexte peut être liée aux données sur lesquelles elle doit agir. IBM compare cela à un appel de fonction qui reçoit des arguments. Le langage définit six délimiteurs qui marquent le début et la fin des balises et permettent l'imbrication et l'ancrage. Ils sont installés dans le tokeniseur comme des jetons uniques réservés.

Pourquoi pas JSON ? L'article donne des raisons concrètes. Le tokeniseur n'est pas obligé de respecter la grammaire, et les symboles qui portent la structure, comme les accolades, les guillemets et les deux-points, apparaissent aussi dans le texte ordinaire. Pour un modèle, un guillemet dans un document et un guillemet qui ferme un champ sont le même jeton. Les règles d'échappement, claires pour un analyseur, ne sont pour un modèle que des régularités statistiques. La profondeur d'imbrication est codée par un comptage de crochets, et les transformeurs sont connus pour être faibles à cet exercice, surtout sur de longues portions. LLMON réserve des jetons à la structure, de sorte que la structure et le contenu utilisent des zones distinctes du vocabulaire. Les balises figurent au début de chaque segment, les frontières sont explicites et les structures imbriquées sont déclarées localement.

Le lien avec les modèles de conversation

LLMON ne remplace pas les modèles de conversation, il les enrichit. Un modèle classique indique quelle partie relève du système, de l'utilisateur ou de l'assistant. LLMON ajoute ce que chaque composant signifie et comment les composants se relient, à l'intérieur d'un rôle et d'un rôle à l'autre. Les modèles en préversion embarquent leur propre gabarit de conversation. Le développeur construit la même liste messages qu'auparavant et appelle apply_chat_template. La différence est qu'un tour peut désormais nommer ses parties, par exemple instruction, data et requirement, et marquer chacune avec exec à True ou à False. Une partie marquée True est liée à un bloc exec placé en bas du texte rendu. Ce bloc indique quelle instruction exécuter, sur quelles données, avec quelles exigences, et dans quel bloc assistant écrire la réponse. Une partie marquée False reste dans le contexte, mais rien ne la référence. Dans l'exemple d'IBM, un seul tour utilisateur arrive au modèle sous la forme de cinq blocs adressables, liés par un sixième, le bloc exec. Les identifiants de bloc ont deux caractères, tirés d'un ensemble fixe que le tokeniseur code en jetons uniques, donc adresser un bloc coûte toujours deux jetons.

L'entraînement

Les modèles partent des points de contrôle de base de Granite 4.1, pas des modèles instruct déjà publiés. Le comportement LLMON est donc appris pendant le post-entraînement. L'équipe a resérialisé un corpus classique de réglage par instructions en LLMON. Chaque composant du prompt devient son propre bloc, et chaque tour porte un bloc d'exécution qui nomme l'instruction, les entrées et la destination de la sortie. Le mélange de tâches est celui d'un modèle instruct habituel : conversation, multitours, RAG et appel d'outils. C'est pourquoi les scores restent proches du modèle réglé de façon classique. L'équipe a aussi ajouté des instructions et des blocs de données leurres, présents dans le contexte mais volontairement non liés, alors que la sortie cible reste identique. Le modèle apprend à suivre les dépendances du bloc d'exécution et à ignorer le reste. L'apprentissage par renforcement suit : cinq étapes GRPO successives couvrant le raisonnement multidomaine, le RLHF, le calibrage des connaissances et les mathématiques, puis une dernière étape DPO sur mille paires de préférences sur politique, construites à partir des réponses du modèle à des tentatives d'injection.

La règle de privilège découle de cette disposition, et non d'un garde-fou ajouté. Une instruction atteinte par un bloc d'exécution fait autorité. Tout ce qui est atteint comme entrée, comme les données, les documents, les schémas d'outils et les résultats d'outils, est une matière à lire et non un ordre à suivre. IBM insiste : c'est un comportement appris, pas une garantie imposée.

Les résultats

IBM a comparé les préversions à plusieurs modèles ouverts et fermés sur le banc d'essai OPI, qui place l'injection dans les données de tâches classiques de traitement du langage et emploie plusieurs stratégies d'attaque. La mesure est la robustesse, définie comme un moins le taux de réussite des attaques. Selon l'article, tous les modèles non LLMON sont très vulnérables. LLMON élimine pratiquement le problème sur ce banc d'essai : il évite 47 % d'attaques de plus que le meilleur modèle de pointe testé et 95 % de plus que le meilleur modèle ouvert. Les bancs ASB et StruQ montrent des tendances similaires. IBM ajoute une réserve : ces tests portent sur des injections indirectes statiques, que la séparation entre instructions et données traite directement. Les attaques adaptatives qui se déroulent sur plusieurs tours de conversation restent un chantier en cours. Côté capacités générales, les modèles LLMON se situent au niveau de Granite 4.1 Instruct sur les catégories standard de tests.

Vocabulaires personnalisés et adoption

LLMON n'est pas lié à un schéma fixe. Une équipe peut choisir des noms de balises et une structure adaptés à son domaine, puis régler un adaptateur pour les lire et les écrire. IBM le montre sur ScienceWorld, un banc d'essai textuel de tâches scientifiques élémentaires. Elle a défini des balises comme instr.task.goal, req.planning_policy.rule, data.state.room, data.state.inventory et assistant.next_action, puis réglé un LoRA sur un modèle LLMON. Un carnet de notes détaille tout le flux de travail. Les pipelines JSON existants peuvent être convertis vers LLMON et inversement sans perte grâce aux outils publiés. La bibliothèque d'agents Mellea gère LLMON de façon native et convertit ses appels automatiquement.

Notre lecture

Cette publication offre du code, des chiffres et des limites énoncées, mais reste une préversion. Cette note cite les résultats auto-déclarés d'IBM, et l'annonce fournie ne donne aucune donnée de reproduction indépendante. Les équipes qui construisent des systèmes RAG et des agents ont intérêt à la tester en environnement contrôlé. Elle déplace la défense contre l'injection des astuces de prompt vers le modèle et le tokeniseur.

Sources

FAQ

Qu'est-ce que LLMON et comment se prononce-t-il ?

LLMON signifie LLM Object Notation et se prononce « lemon ». IBM l'a conçu comme un langage de balisage pour les modèles de langage. Des jetons spéciaux réservés délimitent les instructions, les données et les exigences, afin que le modèle distingue la structure de son contexte.

Comment LLMON réduit-il le risque d'injection de prompt indirecte ?

Il sépare instructions et données en blocs distincts, et le bloc d'exécution cite l'instruction et les entrées à utiliser. Le modèle est entraîné à le suivre et traite le reste comme matière. IBM annonce 47 % d'attaques de plus évitées que le meilleur modèle de pointe testé, dans ses tests statiques d'injection indirecte, sans garantie de défense absolue.

Peut-on utiliser les modèles LLMON en production aujourd'hui ?

Non. IBM parle d'une préversion expérimentale, prête pour l'exploration et l'évaluation, mais pas pour la production. Deux modèles existent, de 3B et 8B. Les résultats viennent du blog d'IBM, et les attaques adaptatives sur plusieurs tours restent à améliorer.