Jede Ablation ist eine Dosis: Gegengewichte und der Schein der Selbstreparatur

Hintergrund und Problemstellung

Forscher der mechanistischen Interpretierbarkeit haben wiederholt ein verblüffendes Phänomen beobachtet: Wenn man eine Komponente innerhalb eines Transformer-Sprachmodells ablatiert — also chirurgisch entfernt oder auf null setzt —, scheinen andere Komponenten ihr Verhalten anzupassen, um das fehlende Teil auszugleichen, als würde das Netzwerk sich aktiv selbst reparieren. Dieser Effekt, „Selbstreparatur" genannt, wurde zunächst in Studien zu Aufmerksamkeitsköpfen dokumentiert und später auf MLP-Neuronen und andere feingranulare Einheiten ausgedehnt. Die bislang systematischste Untersuchung dieses Phänomens kam zu dem Schluss, dass Selbstreparatur verrauscht, kontextabhängig inkonsistent und in den vielen Fällen, in denen sie auftritt, kaum auf eine einzige zugrunde liegende Ursache zurückzuführen ist. Diese Schlussfolgerung ließ das Forschungsfeld ohne prädiktive Theorie: Praktiker konnten den Effekt beobachten, aber dessen Ausmaß oder Richtung nicht vorhersagen, bevor sie eine Ablation durchführten — was die kausale Interpretierbarkeitsforschung schwächt, die Ablation als primäres Werkzeug zur Zuordnung von Verhalten zu Komponenten nutzt.

Areeb Ahmad, Pratinav Seth und Vinay Kumar Sankarapu greifen dieses Rätsel mit einer neuen Perspektive auf: Ablation ist keine einzigartige, isolierte Operation, sondern lediglich ein Punkt — oft ein extremer und unkalibrierter — auf einer kontinuierlichen Achse der kontrafaktischen Interventionsstärke. Wenn sich der nachgeschaltete Effekt einer Komponente bereits glatt mit der Stärke der Störung verändert, auch bevor sie vollständig entfernt wird, dann könnte das, was nach einer Ablation wie „Reparatur" aussieht, einfach dieselbe glatte Reaktion sein, ausgewertet an einem bestimmten Punkt dieser Achse. Die zentrale These des Papers lautet, dass Selbstreparatur einen einzigen, vereinheitlichenden Mechanismus hat und nicht viele, und dass dieser Mechanismus eine feste, lineare Empfindlichkeit ist, die bereits in den Gewichten selbst verankert ist.

Architektonischer Kern und technische Prinzipien

Die Autoren formalisieren die kontrafaktische Intervention als vorzeichenbehaftete Skalargröße λ, die Stärke und Richtung einer kontrastiven Störung an einer kausal bedeutsamen Komponente darstellt. Die konventionelle Ablation — das Nullsetzen eines Neurons, Kopfes oder einer Richtung — wird als unkalibrierte Stichprobe auf dieser λ-Achse neu interpretiert, statt als qualitativ eigenständige Operation. Anschließend schlagen sie ein affines Gesetz vor, das beschreibt, wie jede feingranulare nachgeschaltete Einheit r reagiert: E_r(λ) = own_r + γ_r·λ. Dabei erfasst own_r das von der Intervention unabhängige Grundverhalten der Einheit, und γ_r ist ein fester, für diese Einheit spezifischer Steigungskoeffizient. Entscheidend ist, dass γ_r nicht nur während einer Ablation aktiviert wird; es ist eine konstante Eigenschaft der bestehenden Gewichte der Einheit, die ihre Ausgabe bei jeder Störungsstärke prägt — einschließlich des gewöhnlichen, nicht ablatierten Zustands.

Das Vorzeichen von γ_r bestimmt die qualitative Rolle der Einheit: Eine negative Steigung relativ zum entfernten Signal macht die Einheit zu einem „Gegengewicht", das sich der Richtung der Störung entgegenstellt und so den Eindruck einer Kompensation erzeugt, während eine positive Steigung die Störung stattdessen verstärkt. Da γ_r fest und direkt aus den Modellgewichten ableitbar ist, zeigen die Autoren, dass sich das Ausmaß der scheinbaren Selbstreparaturreaktion einer Einheit allein durch statische Gewichtsanalyse vorhersagen lässt, ohne die Ablation zunächst empirisch durchführen und beobachten zu müssen. Das deutet Selbstreparatur von einem emergenten, dynamischen Phänomen zu einem Ablesen einer bereits bestehenden linearen Struktur um — und reduziert, was wie ein adaptiver Mechanismus aussah, auf gewöhnliche lineare Algebra.

Praktische Evaluation und Anwendungen

Das Team testete das affine Gesetz an einer Aufgabe zur Klassifikation von Faktenurteilen über vier Modellfamilien mit unterschiedlichen Architekturen und Trainingsrezepten: Gemma, Qwen, LLaMA und Mistral. Über diese Modelle hinweg untersuchten sie MLP-Neuronen, OV-Neuronen (Output-Value) und singuläre Richtungen aus der Zerlegung von Gewichtsmatrizen als feingranulare Einheiten von Interesse. Das Gesetz galt für 68 der 81 getesteten nachgeschalteten Richtungen — eine Trefferquote, die hoch genug ist, um die Behauptung eines einzigen Mechanismus zu stützen, und zugleich transparent macht, dass etwa 16 % der Fälle nicht perfekt passten. Diese Ehrlichkeit bezüglich Grenzfällen stärkt die Glaubwürdigkeit des Papers, statt sie zu schwächen.

Als zweiten, unabhängig gewählten Testfall untersuchten sie den gut erforschten IOI-Schaltkreis (Indirect Object Identification) in GPT-2 Small, eine Aufgabe, die die Interpretierbarkeits-Community seit Jahren als Referenzschaltkreis verwendet. Von den zehn durch die verwendete spezifische Intervention erreichbaren Aufmerksamkeitsköpfen folgten sieben dem affinen Gesetz, und bemerkenswerterweise waren alle sieben als Gegengewichte klassifiziert — Köpfe, deren feste Steigung dem ablatierten Signal entgegenwirkt. Diese architektur- und aufgabenübergreifende Konsistenz, die sowohl ein Klassifikationsszenario mit modernen instruktionsoptimierten Modellen als auch einen klassischen Kleinmodell-Schaltkreis umfasst, ist der stärkste vorgelegte Beleg dafür, dass das affine Gesetz kein Artefakt einer einzelnen Modellfamilie oder eines einzelnen Aufgabendesigns ist.

Branchenwirkung und Ausblick

Für Praktiker, die Interpretierbarkeits-Werkzeuge entwickeln, besteht die praktische Konsequenz darin, dass Selbstreparatur nicht länger als unvorhersehbarer Störfaktor behandelt werden muss, der nach jedem Ablationsexperiment empirisch neu gemessen werden muss. Wenn sich das γ_r einer Einheit allein aus den Gewichten schätzen lässt, könnten Teams, die Modelle auf sicherheitsrelevante Schaltkreise prüfen — etwa solche, die für Täuschung, Verweigerung oder Faktenurteile verantwortlich sind — vorab prüfen, welche Komponenten wahrscheinlich Gegengewichte sind, bevor sie teure Ablationsdurchläufe starten, und damit die Rückkopplungsschleife zwischen Hypothese und Test verkürzen. Zugleich wird ein methodisches Risiko sichtbar: Ablationsstudien, die nicht berücksichtigen, wo ihr gewähltes λ auf dieser Achse liegt, vergleichen möglicherweise unvereinbare Interventionen zwischen Arbeiten, da eine unkalibrierte Ablationsstärke in einem Modell nicht garantiert demselben Punkt auf der Achse eines anderen Modells entspricht.

Die verbleibenden 16 % der Richtungen, die nicht zum affinen Gesetz passten, sowie die drei erreichbaren, aber nicht konformen IOI-Köpfe markieren die ehrliche Grenze der aktuellen Theorie — wahrscheinliche Kandidaten für nichtlineare Wechselwirkungen, Effekte höherer Ordnung oder Einheiten, deren Rolle sich kontextabhängig verändert, was eine feste Steigung nicht erfassen kann. Künftige Interpretierbarkeitsforschung, die auf diesem Ergebnis aufbaut, wird diese Ausnahmen charakterisieren müssen, anstatt sie wegzumitteln, denn eine vereinheitlichende Theorie, die ihre Gegenbeispiele leise verwirft, würde denselben Fehler der Rauschabtuung wiederholen, den die Autoren eigentlich korrigieren wollten.