Récurrence latente élastique (ELR) : un seul point de contrôle qui égale un modèle standard de même taille avec une boucle et gagne en précision à chaque boucle supplémentaire

L'idée du « modèle de langage à récurrence latente » est directe. Au lieu d'empiler des dizaines de couches distinctes, on réutilise plusieurs fois un petit bloc de couches, et chaque boucle de plus coûte une unité de plus de calcul d'inférence. Un même point de contrôle peut alors échanger vitesse et précision : moins de boucles, plus vite ; plus de boucles, plus précis. Il y avait cependant un problème gênant. Avec une seule boucle, un tel modèle est en général nettement en retrait d'un modèle normal non récurrent de même taille. L'article 2610.12582 appelle cet écart la « taxe d'une boucle » et note que, quand la latence compte, on doit choisir un modèle non récurrent à part, ce qui ruine l'intérêt d'« un point de contrôle, plusieurs usages ». La méthode proposée, Elastic Latent Recurrence (ELR), vise ceci : à une boucle, le modèle coûte autant à servir qu'un modèle non récurrent de même taille et, entraîné sur les mêmes données, atteint une précision semblable, puis chaque boucle supplémentaire achète plus de précision avec plus de calcul d'inférence.

Les auteurs attribuent l'effet à trois choix. Premièrement, une mise à jour d'état à portes avec un pas appris, si bien que chaque passe apporte une modification contrôlée à un état existant. Deuxièmement, des nombres de boucles mélangés dans chaque mise à jour d'optimisation : pour chaque micro-lot, un nombre de boucles est tiré uniformément et la perte est rétropropagée à travers toutes les applications du bloc. Pour garder la précision à une boucle, une fraction tournante des rangs en parallélisme de données est forcée à une boucle, si bien qu'une boucle a une probabilité d'environ un tiers, et les gradients à une boucle et à plusieurs boucles sont moyennés dans la même mise à jour. Troisièmement, chaque passe est conditionnée sur sa progression dans la boucle et sur le budget total, de sorte que le même bloc peut faire des choses différentes selon la passe. Les ablations montrent que les autres approches courantes ne gardent pas la précision à une boucle. Les deux premiers choix la préservent, et le troisième réduit la perte à chaque boucle de plus.

L'article regarde aussi les coûts. D'abord, l'entraînement à profondeur mixte peut être introduit tard, dans le dernier quart du pré-entraînement, pour environ 16 % de FLOPs d'entraînement de plus que la base, et avec un conditionnement initialisé à zéro ajouté au moment du passage, ce calendrier tardif atteint une perte plus basse que l'entraînement à profondeur mixte dès le départ. Ensuite, dans les modèles à mélange d'experts, réutiliser aux boucles suivantes les affectations d'experts de la première boucle réduit de 11,7 % le temps de mise à jour à profondeur mixte, sans changement mesurable de précision. Enfin, l'inférence standard garde un cache KV d'attention distinct pour chaque boucle, si bien que la mémoire croît avec la profondeur. Dans Koi-4B, issu du post-entraînement, trois des six couches d'attention sont dans le bloc récurrent, donc quatre boucles exigent 2,5 fois la mémoire KV d'une boucle, soit 7,5 GiB contre 3,0 GiB par requête de 128K jetons en BF16. Ne garder que le cache KV de la dernière boucle n'exige aucun réentraînement et maintient la mémoire KV d'attention à la taille d'une boucle pour tout nombre de boucles, avec des baisses de score à quatre boucles de 0 à 3 % par rapport à un cache par boucle.

Les principaux résultats sont les suivants. Sur des modèles denses de 4 Md et mixtes à mélange d'experts 30B-A3B, ELR à une boucle est 0,52 point sous et 1,04 point au-dessus de sa base appariée sur une moyenne de dix tâches, et quatre boucles ajoutent 7,25 et 4,75 points. Pour le modèle de 4 Md, les plus gros gains par tâche sont GSM8K, en hausse de 11,8 points, et MATH-500, en hausse de 11,3 ; pour le 30B-A3B, MMLU-Pro, en hausse de 7,5, et GSM8K, en hausse de 6,5. Le coût se voit dans la latence. Une passe à une boucle exécute chaque couche unique exactement une fois, donc le temps au premier jeton et la latence de décodage par jeton égalent ceux de la base non récurrente. Chaque boucle ajoutée ne répète que le bloc récurrent, et pour le 4 Md quatre boucles atteignent 2,33 fois le temps au premier jeton de la base et 2,06 fois la latence de décodage. Trois boucles captent 96 % du gain de une à quatre boucles pour 1,87 fois. Portée jusqu'au post-entraînement, la recette donne un seul point de contrôle, Koi-4B, qui obtient environ 18 à une boucle, comme Qwen3.5-4B, et 29 à quatre boucles, avec la pondération de l'indice d'intelligence d'Artificial Analysis v4.1.

Comment lire cela ? D'abord, tous les chiffres viennent des expériences de l'article. Les auteurs précisent que les scores de Koi-4B et des modèles de référence viennent de leur propre cadre et non d'Artificial Analysis, qu'ils peuvent différer des chiffres publiés, et que Koi-4B n'a pas de base non récurrente appariée. Ensuite, « plus de boucles pour plus de précision » n'est pas gratuit. Latence, complexité d'entraînement et prise en charge au déploiement comptent, et quatre boucles font plus que doubler le temps au premier jeton. Enfin, les ablations portent surtout sur de plus petits modèles, donc le passage à l'échelle demande des vérifications ultérieures. Reste que, si un produit a besoin à la fois d'une réponse rapide à faible latence et de plusieurs tours de réflexion sur les questions difficiles, l'idée d'« un point de contrôle, profondeur réglable » est bien plus séduisante que d'entretenir deux modèles.