Selbsterhaltung in Sprachmodellen: Ein eingefrorenes Modell erzeugt eigene Wiederholungsdaten und wählt, was wiederholt wird, um das Vergessen beim kontinuierlichen Lernen zu verringern
In dieser Arbeit bedeutet „Selbsterhaltung“ kontinuierliches Lernen, also alte Fähigkeiten zu behalten, während eine neue Aufgabe gelernt wird, und hat nichts mit einem Überlebenswillen der KI zu tun. Die Autoren ordnen Aufgabenbeschreibungen und Beispiele in „Aufgabenbanken“, und ein eingefrorenes Modell vor dem Update erzeugt daraus Wiederholungsdaten, die ins Feintuning gemischt werden. Bei Qwen3 mit 0,6 Mrd., 1,7 Mrd. und 4 Mrd. Parametern senkte das erzeugte Replay das Vergessen außerhalb der Bank, und die Kombination zweier Teilbanken half mehr. Bei 4 Mrd. behielt die Zielwahl nach der neuen Aufgabe 2,75 Punkte mehr als Zufall, kleinere Modelle zeigten das nicht. Es ist eine kleine Pilotstudie.
Zuerst eine Klarstellung. Der Titel dieser Arbeit lautet „Self-Preservation in Language Models“, aber es geht nicht um eine KI, die handelt, um nicht abgeschaltet zu werden. Sie behandelt eine schlichte Frage des maschinellen Lernens: Wenn ein Modell weitertrainiert, um etwas Neues zu lernen, wie vermeidet es, das zu verlieren, was es schon kann? Dieses Problem heißt kontinuierliches Lernen, der Verlust alter Fähigkeiten katastrophales Vergessen. Vortraining ist teuer, und man muss ein Modell trotzdem feintunen, um neues Wissen aufzunehmen oder es an ein neues Gebiet anzupassen. Kostet jedes Update unbemerkt andere Fähigkeiten, können sich Verbesserungen nicht summieren.
Ein gängiges Mittel ist das Replay: Beim Lernen der neuen Aufgabe mischt man Daten alter Aufgaben bei, damit das Modell weiter übt. Die Arbeit weist auf eine praktische Lücke hin. Die zum Schutz vorgegebenen Aufgaben decken nur einen Teil dessen ab, was das Modell weiß, während das Vergessen nicht innerhalb davon bleibt. Neuere Arbeiten zeigen, dass Sprachmodelle ohne Zugriff auf ihre ursprünglichen Trainingsdaten nützliches Replay selbst erzeugen können. So stellt die Arbeit eine weitere Frage: Kann ein Modell helfen, Schutzziele zu wählen, die seine eigenen Fähigkeiten breiter schützen? Das ist die Bedeutung der „Selbsterhaltung“ im Titel.
Die Methode ordnet Aufgabenbeschreibungen und optionale Beispiele in Aufgabenbanken, deren Einträge ausgewählt und kombiniert werden können, um ein eingefrorenes Modell bei der Replay-Erzeugung zu leiten. Beim Aufgabenbank-Selbst-Replay erzeugt ein eingefrorenes Modell vor dem Update Replay-Daten für die gewählten Einträge, die beim Feintuning mit Beispielen der neuen Aufgabe gemischt werden. Die Bank trennt die Festlegung, was wiederholt wird, von den dafür erzeugten Beispielen, sodass kein vollständiges Verzeichnis der Fähigkeiten des Modells nötig ist. Die Autoren führen Instruktions-Feintuning-Experimente mit Qwen3-0,6 Mrd., 1,7 Mrd. und 4 Mrd. durch, mit MedQA und C-STANCE aus TRACE als neuen Aufgaben. Die Bank enthält MMLU, HellaSwag, GSM8K und BoolQ. ARC-Challenge, WinoGrande, PIQA und SVAMP sind von Replay-Aufbau und Zielauswahl ausgenommen und messen daher den Schutz über die Bank hinaus. Qwen3.5-4B ist in den Vergessens-Diagnosen enthalten, und die Ergebnisse sind Mittel über fünf Seeds.
Bei der Auswertung betont die Arbeit die Retention, den Anteil ursprünglich richtiger Antworten, die nach dem Training richtig bleiben, weil die mittlere Genauigkeit Verluste verbergen kann: Gewinne bei manchen Aufgaben können Rückgänge bei anderen ausgleichen, und neu korrigierte Antworten können Verluste zuvor richtiger Antworten ausgleichen. Die erste Erkenntnis ist, dass Trainingsentscheidungen das Vergessen prägen. Die neue Aufgabe und die Lernrate beeinflussen, welche früheren Fähigkeiten nachlassen, und eine niedrigere Lernrate kann sowohl das Lernen der neuen Aufgabe als auch die Retention verbessern. Die zweite ist, dass erzeugtes Replay das Vergessen bei Aufgaben außerhalb der Bank verringert. Die Kombination zweier Teilbanken ergibt bei allen drei Größen eine höhere mittlere Retention außerhalb der Bank als jede einzelne Bank, und die kombinierte Bank erreicht 88,70 %, 93,28 % und 96,01 %. Die dritte ist, dass das Modell bei der Wahl der Replay-Ziele helfen kann. Bei 4 Mrd. hebt die von der neuen Aufgabe geleitete Auswahl die mittlere Retention außerhalb der Bank auf 95,69 %, gegenüber 92,94 % bei Zufallsauswahl und 93,42 % bei reiner Bankauswahl, also 2,75 Punkte über Zufall, bei ähnlichen Gewinnen bei der neuen Aufgabe. Kleinere Modelle zeigen keinen entsprechenden Vorteil.
Mehrere Vorbehalte sind zu betonen. Erstens verbessert bei festem Beispielbudget der Ersatz von Beispielen der neuen Aufgabe durch Replay zwar die Erhaltung, aber auf Kosten kleinerer Gewinne bei der neuen Aufgabe; das ist ein Zielkonflikt, kein geschenkter Gewinn. Zweitens nennt sich die Arbeit selbst einen Pilot. Die Schlüsse gelten nur für die berichteten Modelle, Aufgaben und kurzen Updates, und die Anhäufung über längere Zeit liegt außerhalb des Rahmens. Drittens ist das größte Modell 4 Mrd. groß, und der Auswahlvorteil zeigt sich nur dort, sodass die Übertragung auf größere Modelle und mehr Aufgaben spätere Arbeit braucht. Für Ingenieure, die feintunen, ist der praktischste Punkt die Messweise: nicht nur auf die mittlere Genauigkeit schauen, sondern auch fragen, wie viele der zuvor richtigen Antworten noch richtig sind.
Sources
FAQ
Was bedeutet hier „Selbsterhaltung“?
Es bedeutet, Fähigkeiten beim kontinuierlichen Lernen zu bewahren. Ein vortrainiertes Modell braucht weiteres Training, um neues Wissen aufzunehmen oder sich zu spezialisieren, doch Feintuning kann Bekanntes verschlechtern, das katastrophale Vergessen. Das übliche Mittel ist, einige zum Schutz gewählte alte Aufgaben zu wiederholen, doch sie decken nur einen Teil dessen ab, was das Modell weiß, und das Vergessen kann darüber hinausgehen. Die Arbeit fragt, ob ein Modell helfen kann, auszuwählen, was zu schützen ist, um seine eigenen Fähigkeiten breiter zu bewahren. Es hat nichts mit einer KI zu tun, die handelt, um nicht abgeschaltet zu werden.
Was ist die Methode?
Die Autoren ordnen Aufgabenbeschreibungen und optionale Beispiele in Aufgabenbanken. Beim Aufgabenbank-Selbst-Replay erzeugt ein eingefrorenes Modell vor dem Update Replay-Daten für ausgewählte Einträge und mischt sie beim Feintuning mit Beispielen der neuen Aufgabe, sodass die Festlegung, was wiederholt wird, von den dafür erzeugten Beispielen getrennt ist. Verglichen werden drei Dinge: wie die neue Aufgabe und die Lernrate bestimmen, welche früheren Fähigkeiten nachlassen; ob die Kombination von Teilbanken den Schutz über die Bank hinaus verbessert; und ob die Wahl der Replay-Ziele anhand der neuen Aufgabe besser ist als zufällige oder nur bankbasierte Wahl.
Wie sind die Ergebnisse, und welche Vorbehalte gibt es?
Verwendet werden Qwen3 mit 0,6 Mrd., 1,7 Mrd. und 4 Mrd. Parametern, neue Aufgaben sind MedQA und C-STANCE. Die Bank enthält MMLU, HellaSwag, GSM8K und BoolQ, und ARC-C, WinoGrande, PIQA und SVAMP sind von Replay-Aufbau und Auswahl ausgenommen. Die Kombination zweier Teilbanken erhöht bei allen drei Größen die mittlere Retention außerhalb der Bank, den Anteil ursprünglich richtiger Antworten, die richtig bleiben, gegenüber jeder einzelnen Bank. Bei 4 Mrd. erreicht die von der neuen Aufgabe geleitete Auswahl 95,69 %, gegenüber 92,94 % bei Zufall und 93,42 % nur nach Bank, und kleinere Modelle zeigen den Vorteil nicht. Bei festem Beispielbudget verbessert der Ersatz von Beispielen der neuen Aufgabe durch Replay die Erhaltung, verkleinert aber die Gewinne bei der neuen Aufgabe. Die Autoren nennen es einen Pilot, begrenzt auf die getesteten Modelle, Aufgaben und kurzen Updates.