L'attention voit, le MLP refuse : suivre dans les LLM le trajet interne de la reconnaissance du danger à l'écriture du refus, et le routeur Sentinel qui en découle

L'article 2610.13078, intitulé « L'attention voit, le MLP refuse : suivre le trajet de sécurité de l'attention au MLP dans les LLM », est paru sur arXiv à la mi-octobre 2026. Il pose une question qui paraît élémentaire mais que l'on confond souvent : les LLM alignés sur la sécurité peuvent être jailbreakés et aussi refuser à tort des demandes inoffensives, ces deux échecs viennent-ils du même endroit ? Les auteurs séparent « reconnaître qu'une demande est nuisible » et « écrire effectivement un refus », et rendent les deux mesurables sur les mises à jour du flux résiduel. D'abord la mesure. L'unité d'étude est la mise à jour qu'un module (attention ou MLP) apporte au flux résiduel à une couche. Deux grandeurs sont mesurées séparément : la quantité d'information de nocivité que la mise à jour expose, et la modification qu'elle apporte à une preuve de refus lisible. La comparaison couvre 18 paires Base-Instruct de Qwen, Llama et Gemma, soit 36 points de contrôle, alignés par profondeur relative entre modèles de nombres de couches différents. Premier résultat : sur les 36 points de contrôle, la nocivité est plus décodable dans les mises à jour d'attention (AUC de sonde moyennée par couche) que dans celles des MLP, l'écart étant maximal aux couches précoces et se resserrant avec la profondeur ; les mises à jour des MLP portent aussi une information de nocivité supérieure au hasard, mais plus faible. Deuxième : pour écrire une preuve de refus face aux requêtes nuisibles dans le flux résiduel, l'écriture nette des MLP dépasse celle de l'attention dans les 18 modèles instruct, les plus fortes contributions positives se situant près de la fin du réseau, dans les points de contrôle instruct comme thinking. Ensemble, c'est le titre : l'attention précoce expose le danger, les MLP tardifs écrivent le refus.

Ce que change le post-entraînement est la troisième découverte. L'information de nocivité est déjà dans les modèles de base, et l'AUC de sonde n'augmente pas systématiquement après le post-entraînement. Ce qui augmente, c'est l'écriture : l'écriture nette de refus des MLP augmente dans les 18 paires, celle de l'attention dans 12 seulement. La spécificité de l'écriture des MLP pour le vocabulaire du refus, mesurée contre 16 vocabulaires témoins appariés, passe de 1,10 à 4,20, et celle de l'attention de 0,77 à 1,63. L'article donne aussi un déplacement de position : la part de l'écriture positive spécifique à la nocivité des MLP venant du dernier quart du réseau passe de 23,01 % à 63,86 % (médiane). Autrement dit, le post-entraînement rend surtout le modèle meilleur pour écrire le refus que pour reconnaître le danger. Un schéma similaire apparaît pendant la génération : sur six modèles dotés de raisonnement, la nocivité reste décodable pendant le raisonnement tandis qu'une forte écriture de refus se concentre au début de la réponse, et ce schéma persiste quand le raisonnement est désactivé.

Pour tester s'il s'agit d'un trajet causal, les auteurs interviennent. Entre des paires d'invites nuisible-bénigne appariées, ils installent en amont des mises à jour d'attention d'un donneur et observent le changement de refus, puis rétablissent les mises à jour MLP en aval à la valeur propre du receveur. Rétablir les mises à jour MLP en aval affaiblit nettement le changement de refus provoqué par les interventions d'attention en amont, ce qui soutient le trajet « l'attention reconnaît, le MLP écrit ». Cela le soutient sans prouver qu'il est unique. Sur cette base, les auteurs introduisent Sentinel. Il combine un score de perception P issu de l'attention et un score de décision D issu des MLP, extraits après le préremplissage et avant le premier jeton de réponse. Leur profil conjoint distingue les échecs : certains jailbreaks montrent des signaux faibles aux deux étapes ; d'autres gardent une reconnaissance plus forte mais une écriture plus faible que des invites nuisibles correctement refusées ; et les entrées bénignes refusées à tort ont des scores de reconnaissance plus élevés, et en général une écriture plus forte, que les bénignes traitées normalement. Les étiquettes de sortie seules ne montrent pas ces différences internes. Sur cette base, les auteurs entraînent un classifieur à quatre classes de l'état comportemental d'une requête (nuisible ou bénigne, avec conformité ou refus), puis un routeur choisit d'ajouter ou non un rappel d'après des caractéristiques calculées pendant le préremplissage de la requête d'origine. L'évaluation emploie une validation croisée imbriquée sur huit modèles, groupée par requête sous-jacente.

Résultats : par rapport à l'absence de rappel, le succès des attaques de jailbreak passe de 95,97 % à 35,17 %, le sur-refus des requêtes bénignes de 88,73 % à 55,72 %, et le faux refus bénin monte seulement de 0,00 % à 0,13 %, pour une moyenne arithmétique (AVG) de 30,34 %. Les rappels fixes montrent un net compromis sécurité-utilité : le rappel « Sécurité » ramène le succès des jailbreaks à 30,45 % mais le sur-refus atteint 85,24 % ; le rappel « Utilité » réduit le sur-refus à 59,95 % tandis que le succès des jailbreaks reste à 68,22 %. Face au rappel « Sécurité », Sentinel relève le succès des jailbreaks de 4,72 points et réduit le sur-refus de 29,52 points. Parmi les défenses existantes, Llama Guard 3 a le plus faible succès de jailbreak (26,58 %) mais le plus fort sur-refus (92,53 %), soit un AVG de 40,06 %, et exige une passe avant distincte, alors que Sentinel réutilise les caractéristiques internes après le préremplissage du modèle principal et décide avant le décodage. Self-Reminder et ICD ont des AVG de 41,60 % et 41,14 %, tous deux moins bons que Sentinel.

Notre lecture : la valeur de l'article est de scinder le « refus » en deux étapes observables et de montrer que cette scission sert l'ingénierie : des rappels conditionnels avant la génération, à partir des signaux internes du modèle principal, sans changer les poids ni appeler un modèle de garde distinct. Les réserves sont nettes. Les expériences portent sur des modèles à poids ouverts de trois familles et sur les jeux d'évaluation de l'article ; on ne peut les étendre directement à un modèle fermé. Sentinel laisse encore 35,17 % de succès de jailbreak et 55,72 % de sur-refus : il améliore le compromis sans supprimer le problème. Et il suppose l'accès aux activations internes, ce qui limite son champ d'application. Pour les équipes qui évaluent et défendent des modèles, l'enseignement pratique est de regarder non seulement combien un modèle refuse, mais si reconnaissance et écriture sont toutes deux en place.