Noter les notateurs : une hiérarchie d'autonomie de vérification pour le raisonnement LLM (L0–L5)

Contexte

Les grands modèles de langage sont désormais systématiquement accompagnés d'un écosystème croissant de vérificateurs, dont chacun affirme détecter les erreurs du modèle. Les vérificateurs d'étapes examinent le raisonnement coup sur coup, les filtres de cohérence entre soi s'appuient sur un vote majoritaire, les vérificateurs de faits par outils mobilisent une connaissance externe, et les assistants de preuve formelle exigent des conclusions strictement dérivées. Malgré ces différences, les auteurs constatent que la littérature sur la vérification emploie le terme de « niveau » dans une confusion réelle, en portant au moins cinq sens distincts : la granularité de vérification, l'abstraction conceptuelle, le niveau de risque, le niveau de pile système, et la source épistémique de la vérité.

Pour sortir de ce flou, l'article introduit l'Échelle d'Autonomie de Vérification (VAL), une taxonomie à axe unique articulée autour de deux questions : d'où viennent les spécifications de vérification, et ce que leurs conclusions peuvent garantir ? La source d'une spécification détermine le niveau d'autonomie. Lorsque les règles proviennent des affirmations mêmes du modèle, le schéma demeure en L0, sans ancrage déterministe. Lorsqu'elles reposent sur une vérité objective, le schéma atteint L2, ne garantissant que la correction. Lorsqu'elles dérivent de spécifications formelles d'un système déidable, le schéma entre en L3 et L4.

Analyse approfondie

VAL est délibérément un cadre de classification et d'épistémologie, et non un nouveau vérificateur. Son insight le plus important est le point aveugle de complétude : les vérificateurs basés sur la substitution et l'échantillonnage peuvent confirmer qu'un candidat proposé tient, mais ne peuvent prouver qu'aucun candidat n'a été manqué. Confirmer que les candidats existants sont corrects n'est pas confirmer qu'aucun n'a été négligé, distinction que le texte traverse integrallement.

Les auteurs séparent également quatre dimensions longtemps mêlées à l'idée de niveau. Ils démontrent que la granularité, l'hiérarchie conceptuelle, le risque et le niveau de pile sont orthogonaux à VAL : aucun ne contient ni n'implique les autres. Cette décomposition démêle la confusion conceptuelle systémique identifiée dans dix-sept articles passés en revue, redistribuant cinq sens autrefois regroupés en un seul.

L'argument se déploie sur quatre domaines divergents. Les mathématiques symboliques et la génération de code se situent près de l'extrémité déidable et spécifiable du spectre, tandis que le diagnostic médical et la surveillance comportementale relèvent de la vérification empirique de monde ouvert. Les auteurs évaluent les schémas dans chacun d'eux et testent la puissance explicative de VAL face à la meilleure ligne de base de vérification formelle disponible. Fait saillant, ils concèdent que le vérificateur de cette ligne de base « ne regarde que la correction à chaque étape », précisément la correction ancrée en L2 que VAL prédit, même à l'intérieur du système formelle le plus rigoureux disponible.

Impact sur l'industrie

Pour la communauté open source, les auteurs publient le code et une évaluation complète en matériel complémentaire, permettant aux chercheurs de réexaminer leurs propres vérificateurs à la lumière de VAL plutôt que de s'appuyer sur des affirmations vagues de fiabilité supérieure. Pour le déploiement industriel, le cadre aide les équipes d'ingénierie à décider plus sobrement : un vérificateur ne garantissant que la correction ne peut indiquer si une erreur a été manquée, et la complétude ne tient qu'à l'intérieur des domaines formalisables, de sorte qu'une confiance aveugle dans la « complétude » d'un système comporte un risque réel.

Pour la recherche ultérieure, VAL transforme la question longtemps floue de ce que la vérification peut accomplir en quelque chose d'analysable, de mesurable et de comparable. Elle oriente les travaux vers des objectifs genuinement atteignables, comme poursuivre la complétude sur des propriétés spécifiables ou étiqueter honnêtement un plafond L2 dans des scènes de monde ouvert. Elle met également en garde contre les systèmes vantant une « vérification complète », puisque le point aveugle de complétude signifie que des candidats confirmés ne prouvent jamais une recherche exhaustive.

Perspectives

L'affirmation centrale de l'article est que la vraie limite de la capacité de vérification est fixée par la source de la spécification et la force de la garantie, et non par les étiquettes de niveau vers lesquelles on a l'habitude de se tourner. VAL offre une langue conceptuelle partagée permettant de décrire précisément des travaux distincts plutôt que de les confondre, et elle reformule la complétude comme une récompense conditionnelle, accessible uniquement là où les propriétés peuvent être spécifiées formellement.

L'admission des auteurs selon laquelle même la meilleure ligne de base formelle s'arrête à la correction suggère que la complétude genuinely restera un prix étroit plutôt qu'une fonctionnalité générale. Si VAL devient le vocabulaire commun de la communauté ou demeure une taxonomie parmi tant d'autres dépend de son adoption. Ce qu'il établit est une norme plus claire pour demander ce qu'un vérificateur peut et ne peut pas promettre, et pour reconnaître que confirmer qu'un candidat tient n'est jamais identique à confirmer que rien n'a été manqué.

Cette mise en garde a des conséquences directes pour les contextes critiques en matière de sécurité, comme le diagnostic médical et la génération de code. Pris ensemble, les travaux posent une fondation conceptuelle pour le domaine en rapide expansion de la vérification de raisonnement des grands modèles de langage, dont l'influence atteindra vraissemblablement la conception, l'évaluation et le déploiement des vérificateurs.