Attention sieht, MLP verweigert: Der interne Pfad von der Schaden-Erkennung zum Schreiben der Ablehnung in LLMs und der darauf aufbauende Sentinel-Router

Die Arbeit 2610.13078 mit dem Titel „Attention sieht, MLP verweigert: Der Sicherheitspfad von der Attention zum MLP in LLMs“ erschien Mitte Oktober 2026 auf arXiv. Sie stellt eine Frage, die einfach klingt, aber oft verwischt wird: Sicherheitsausgerichtete LLMs lassen sich jailbreaken und verweigern zugleich harmlose Anfragen, kommen beide Fehler vom selben Ort? Die Autoren trennen „erkennen, dass eine Anfrage schädlich ist“ von „tatsächlich eine Ablehnung schreiben“ und machen beides an Residualstrom-Updates messbar. Zuerst die Messung. Untersuchungseinheit ist das Update, das ein Modul (Attention oder MLP) in einer Schicht zum Residualstrom beiträgt. Zwei Größen werden getrennt gemessen: wie viel Schädlichkeitsinformation das Update freilegt und wie stark es lesbare Ablehnungsevidenz verändert. Der Vergleich umfasst 18 Base-Instruct-Paare von Qwen, Llama und Gemma, insgesamt 36 Checkpoints, über die relative Tiefe angeglichen, weil die Schichtzahlen verschieden sind. Erstes Ergebnis: In allen 36 Checkpoints ist Schädlichkeit aus Attention-Updates leichter dekodierbar als aus MLP-Updates (schichtgemittelte Sonden-AUC), mit dem größten Abstand in frühen Schichten, der mit der Tiefe schrumpft; auch MLP-Updates tragen über dem Zufall liegende Schädlichkeitsinformation, nur schwächer. Zweites: Beim Schreiben von Ablehnungsevidenz für schädliche Anfragen in den Residualstrom übertrifft das Netto-Schreiben des MLP das der Attention in allen 18 Instruct-Modellen, mit den größten positiven Beiträgen nahe dem Netzwerkende, sowohl in Instruct- als auch in Thinking-Checkpoints. Zusammen ergibt das den Titel: frühe Attention legt Schaden offen, späte MLPs schreiben die Ablehnung.

Was das Post-Training ändert, ist der dritte Befund. Schädlichkeitsinformation steckt schon in den Basismodellen, und die Sonden-AUC steigt nach dem Post-Training nicht systematisch. Was steigt, ist das Schreiben: Das Netto-Schreiben von Ablehnung im MLP nimmt in allen 18 Paaren zu, bei der Attention nur in 12. Die Spezifität des MLP-Schreibens für das Ablehnungsvokabular, gemessen gegen 16 passende Kontrollvokabulare, steigt von 1,10 auf 4,20, die der Attention von 0,77 auf 1,63. Die Arbeit nennt auch eine Verschiebung der Position: Der Anteil des schadensspezifischen positiven MLP-Schreibens, der aus dem letzten Netzwerkviertel stammt, steigt im Median von 23,01 % auf 63,86 %. Mit anderen Worten: Das Post-Training macht das Modell vor allem besser darin, die Ablehnung zu schreiben, nicht darin, Schaden zu erkennen. Ein ähnliches Muster zeigt sich bei der Generierung: Bei sechs Modellen mit Reasoning bleibt Schädlichkeit während des Schlussfolgerns dekodierbar, während starkes Ablehnungsschreiben am Antwortbeginn konzentriert ist, und das Muster besteht auch ohne Reasoning fort. Um zu prüfen, ob dies ein kausaler Pfad ist, greifen die Autoren ein. Zwischen passenden schädlich-harmlos-Promptpaaren setzen sie vorgelagerte Attention-Updates eines Spenders ein und beobachten die Ablehnungsänderung, dann stellen sie die nachgelagerten MLP-Updates auf die sauberen Werte des Empfängers zurück. Das Zurücksetzen der nachgelagerten MLP-Updates schwächt die durch vorgelagerte Attention-Eingriffe verursachte Ablehnungsverschiebung deutlich ab, was den Pfad „Attention erkennt, MLP schreibt“ stützt. Es stützt ihn, beweist aber nicht, dass er der einzige ist. Darauf aufbauend führen die Autoren Sentinel ein. Es kombiniert einen aus der Attention abgeleiteten Wahrnehmungswert P und einen aus dem MLP abgeleiteten Entscheidungswert D, entnommen nach dem Prefill und vor dem ersten Antwort-Token. Das gemeinsame Profil trennt verschiedene Fehler: Manche Jailbreaks zeigen auf beiden Stufen schwache Signale; andere behalten eine stärkere Erkennung, aber ein schwächeres Schreiben als korrekt abgelehnte schädliche Prompts; und zu Unrecht verweigerte harmlose Eingaben haben höhere Erkennungswerte und meist stärkeres Schreiben als normal beantwortete harmlose. Ausgabelabels allein zeigen diese inneren Unterschiede nicht. Darüber trainieren die Autoren einen Vier-Klassen-Klassifikator für den Verhaltenszustand einer Anfrage (schädlich oder harmlos, mit Befolgung oder Ablehnung), und ein Router wählt anhand von Merkmalen aus dem Prefill der ursprünglichen Anfrage, ob ein Hinweis hinzukommt. Die Bewertung nutzt geschachtelte Kreuzvalidierung über acht Modelle, gruppiert nach zugrunde liegender Anfrage.

Zu den Ergebnissen: Gegenüber keinem Hinweis sinkt die Jailbreak-Erfolgsquote von 95,97 % auf 35,17 %, die Überverweigerung harmloser Anfragen von 88,73 % auf 55,72 %, und die harmlose Fehlverweigerung steigt nur von 0,00 % auf 0,13 %; der arithmetische Mittelwert (AVG) beträgt 30,34 %. Feste Hinweise zeigen einen klaren Zielkonflikt zwischen Sicherheit und Nützlichkeit: Der „Sicherheits“-Hinweis drückt den Jailbreak-Erfolg auf 30,45 %, die Überverweigerung liegt aber bei 85,24 %; der „Nützlichkeits“-Hinweis senkt sie auf 59,95 %, während der Jailbreak-Erfolg bei 68,22 % bleibt. Gegenüber dem Sicherheits-Hinweis erhöht Sentinel den Jailbreak-Erfolg um 4,72 Punkte und senkt die Überverweigerung um 29,52 Punkte. Unter den bestehenden Abwehrmaßnahmen hat Llama Guard 3 den niedrigsten Jailbreak-Erfolg (26,58 %), aber die höchste Überverweigerung (92,53 %), ein AVG von 40,06 %, und braucht einen eigenen Vorwärtslauf, während Sentinel interne Merkmale nach dem Prefill des Hauptmodells nutzt und vor dem Dekodieren entscheidet. Self-Reminder und ICD haben AVG-Werte von 41,60 % und 41,14 %, beide schlechter als Sentinel.

Unsere Einordnung: Der Wert der Arbeit liegt darin, „Ablehnung“ in zwei beobachtbare Schritte zu zerlegen und zu zeigen, dass diese Zerlegung technisch nutzbar ist: bedingte Hinweise vor der Generierung aus den eigenen inneren Signalen des Hauptmodells, ohne Gewichte zu ändern oder ein separates Wächtermodell aufzurufen. Die Vorbehalte sind ebenso klar. Die Experimente betreffen Open-Weight-Modelle aus drei Familien und die eigenen Bewertungssätze der Arbeit und lassen sich nicht direkt auf geschlossene Modelle übertragen. Sentinel lässt noch 35,17 % Jailbreak-Erfolg und 55,72 % Überverweigerung übrig; es verbessert den Zielkonflikt, beseitigt das Problem nicht. Und es braucht Zugriff auf interne Aktivierungen, was die Einsatzbreite begrenzt. Für Teams, die Modelle bewerten und schützen, lautet die praktische Lehre: nicht nur schauen, wie viel ein Modell ablehnt, sondern ob Erkennen und Schreiben beide stimmen.