L'auto-préservation dans les modèles de langage : laisser un modèle gelé générer ses propres données de rejeu et choisir quoi rejouer pour réduire l'oubli en apprentissage continu

D'abord une précision. Le titre de cet article est « Self-Preservation in Language Models », mais il ne s'agit pas d'une IA qui agirait pour éviter d'être arrêtée. Il traite d'une question simple d'apprentissage automatique : quand un modèle continue à s'entraîner pour apprendre quelque chose de nouveau, comment éviter de perdre ce qu'il sait déjà ? Ce problème s'appelle l'apprentissage continu, et la perte des anciennes compétences l'oubli catastrophique. Le préentraînement coûte cher, et l'on a toujours besoin d'affiner un modèle pour lui ajouter des connaissances ou l'adapter à un nouveau domaine. Si chaque mise à jour coûte discrètement d'autres compétences, les améliorations ne peuvent pas s'additionner.

Un remède courant est le rejeu : pendant l'apprentissage de la nouvelle tâche, on mélange des données d'anciennes tâches pour que le modèle continue de réviser. L'article relève un écart pratique. Les tâches fournies pour la préservation ne couvrent qu'une partie de ce que le modèle sait, alors que l'oubli ne reste pas dans ce périmètre. Des travaux récents montrent que des modèles de langage peuvent générer un rejeu utile sans accès à leurs données d'entraînement d'origine. L'article pose donc une question de plus : un modèle peut-il aider à choisir des cibles de préservation qui protègent plus largement ses propres capacités ? C'est le sens de l'« auto-préservation » du titre.

La méthode organise descriptions de tâches et exemples facultatifs en banques de tâches, dont les entrées peuvent être sélectionnées et combinées pour guider un modèle gelé dans la génération de rejeu. Dans l'auto-rejeu par banque de tâches, un modèle gelé d'avant la mise à jour génère des données de rejeu pour les entrées choisies, mélangées aux exemples de la nouvelle tâche pendant l'affinage. La banque sépare la spécification de ce qu'il faut rejouer des exemples générés, si bien qu'aucun inventaire complet des compétences du modèle n'est requis. Les auteurs mènent des expériences d'affinage par instructions sur Qwen3-0,6 Md, 1,7 Md et 4 Md, avec MedQA et C-STANCE de TRACE comme nouvelles tâches. La banque contient MMLU, HellaSwag, GSM8K et BoolQ. ARC-Challenge, WinoGrande, PIQA et SVAMP sont tenus hors de la construction du rejeu et de la sélection des cibles, et mesurent donc la protection au-delà de la banque. Qwen3.5-4B figure dans les diagnostics d'oubli, et les résultats sont des moyennes sur cinq graines.

Pour l'évaluation, l'article insiste sur la rétention, la fraction des réponses d'abord justes qui le restent après l'entraînement, car la précision moyenne peut masquer des pertes : des gains sur certaines tâches peuvent compenser des baisses sur d'autres, et des réponses nouvellement corrigées peuvent compenser des pertes de réponses auparavant justes. La première constatation est que les choix d'entraînement façonnent l'oubli. La nouvelle tâche et le taux d'apprentissage influent sur les compétences antérieures qui se dégradent, et un taux plus bas peut améliorer à la fois l'apprentissage de la nouvelle tâche et la rétention. La deuxième est que le rejeu généré réduit l'oubli sur les tâches hors banque. La fusion de deux banques partielles donne une rétention moyenne hors banque plus élevée que chaque banque seule aux trois tailles, et la banque fusionnée atteint 88,70 %, 93,28 % et 96,01 %. La troisième est que le modèle peut aider à choisir les cibles de rejeu. À 4 Md, la sélection guidée par la nouvelle tâche porte la rétention moyenne hors banque à 95,69 %, contre 92,94 % pour la sélection aléatoire et 93,42 % pour la sélection limitée à la banque, soit 2,75 points de plus qu'au hasard, avec des gains semblables sur la nouvelle tâche. Les petits modèles n'ont pas d'avantage correspondant.

Plusieurs réserves sont à souligner. D'abord, à budget d'exemples fixe, remplacer des exemples de la nouvelle tâche par du rejeu améliore bien la préservation, mais au prix de gains plus faibles sur la nouvelle tâche : c'est un compromis, pas un gain gratuit. Ensuite, l'article se dit lui-même pilote. Les conclusions ne valent que pour les modèles, tâches et courtes mises à jour rapportés, et l'accumulation sur plus longtemps est hors champ. Enfin, le plus grand modèle fait 4 Md et l'avantage de sélection n'apparaît que là, donc le passage à des modèles plus grands et à plus de tâches demande des travaux ultérieurs. Pour les ingénieurs qui affinent des modèles, le point le plus pratique est la façon de mesurer : ne pas regarder seulement la précision moyenne, mais aussi combien des réponses autrefois justes le sont encore.