Lilian Weng dissèque les lois d'échelle : erreurs de mesure et dérives des invariants

Contexte historique et limites des lois d'échelle traditionnelles

Depuis la parution de l'article séminal de Kaplan et al. en 2020, consolidé par les travaux sur le modèle Chinchilla, les lois d'échelle neuronales (Scaling Laws) ont constitué le dogme fondamental guidant l'industrie de l'intelligence artificielle. Ce principe stipulait qu'une augmentation conjointe et proportionnée des paramètres du modèle, du volume de données d'entraînement et des budgets de calcul entraînait une décroissance prévisible de la perte selon une loi de puissance stricte. Pendant plus de cinq ans, des investissements colossaux ont été consentis sur la foi de ces extrapolations empiriques. Les équipes d'ingénierie étalonnaient les coefficients sur de petits modèles pour projeter les trajectoires de clusters géants.

Cependant, à l'approche de la frontière des 10^26 FLOPs dans les grands entraînements de 2026, cette confiance aveugle s'est heurtée à ce que beaucoup ont qualifié de « mur du scaling ». Les praticiens ont observé des décrochages systématiques : une perte qui s'écarte de la trajectoire prévue, une stagnation des gains marginaux sur les corpus de validation et, plus grave encore, une décorrélation troublante entre la baisse apparente de la perte d'entropie croisée et l'amélioration des capacités de raisonnement sur les bancs d'évaluation comme GSM8K ou HumanEval.

Face à cette crise de reproductibilité, Lilian Weng, chercheuse renommée et ancienne responsable de l'alignement chez OpenAI, a publié une analyse magistrale intitulée *Scaling Laws, Carefully: Measurement Errors and Invariant Shifts in Modern Pre-training*. Loin de proclamer hâtivement la fin du paradigme, Weng démontre avec une rigueur statistique remarquable que le problème réside dans nos instruments de mesure. Selon elle, les prétendues ruptures des lois d'échelle sont en réalité la conséquence d'erreurs d'observation cumulées et d'une dérive incontrôlée des invariants expérimentaux au sein des pipelines modernes.

Les trois failles fondamentales : saturation des données, dérive du vocabulaire et contamination

L'analyse de Lilian Weng décortique minutieusement trois facteurs structurels qui faussent les observations empiriques à très grande échelle : Premièrement, **la saturation de la qualité des données et la baisse d'entropie**. Les formulations classiques reposent sur l'hypothèse de données indépendantes et identiquement distribuées (i.i.d.) issues d'une source homogène. En réalité, le corpus de texte humain authentique à haute valeur ajoutée a été épuisé. Pour continuer à alimenter les centres de données, l'industrie a recours à des mélanges hétérogènes de données synthétiques, de réécritures automatiques et de pages web de moindre qualité. Alors que les petits modèles de test s'entraînent sur un filtrage d'élite, les grands modèles ingèrent des données dont la densité informationnelle marginale est bien plus faible. Ce phénomène fausse l'extrapolation linéaire de la puissance de calcul utile.

Deuxièmement, **la mutation des tokenizers et la densité sémantique par jeton**. Mesurer la performance par la perte moyenne par jeton (NLL per token) est trompeur car le jeton n'est pas une constante physique universelle. Entre les dictionnaires de 32 000 jetons et les vocabulaires contemporains atteignant 256 000 entrées pour absorber les langues rares et le code, le taux de compression textuelle a radicalement changé. Un jeton moderne encapsule beaucoup plus de bits d'information qu'auparavant. Weng prouve mathématiquement qu'ignorer cette compression introduit des biais de mesure allant jusqu'à 30 %, faussant totalement la comparaison de l'efficacité architecturale. Troisièmement, **l'illusion des métriques discrètes et la contamination des tests**. L'évaluation repose souvent sur des scores de précision binaire qui masquent les progrès continus des représentations sous-jacentes. Plus insidieux encore, la contamination des données d'entraînement par les questions d'évaluation fausse les résultats. Les modèles de très grande taille mémorisent passivement ces solutions sans acquérir de véritable capacité de généralisation, générant un faux bond de performance qui masque l'essoufflement réel de l'apprentissage.

Vers un cadre d'invariants de mesure standardisés

Pour restaurer une méthodologie scientifique irréprochable, Lilian Weng formule quatre recommandations majeures visant à instaurer des invariants rigoureux :

1. **L'adoption universelle du bit par octet (Bits-per-Byte)** : Abandonner définitivement la perte par jeton au profit d'une métrique normalisée au niveau de l'octet brut UTF-8, garantissant une comparabilité absolue entre architectures et vocabulaires différents.

2. **La budgétisation du calcul pondérée par l'entropie** : Ajuster le décompte des FLOPs bruts en fonction de la nouveauté sémantique réelle des lots de données, mesurée par des réseaux sondes légers.

3. **Le sondage continu des représentations latentes** : Suivre l'évolution des marges de probabilité et de l'étalonnage des modèles sur les tâches cibles plutôt que de simples métriques de succès binaire.

4. **L'évaluation étanche en boîte noire dynamique** : Isoler totalement les jeux de test de l'Internet public et générer des variations sémantiques continues pour éliminer tout risque de mémorisation par contamination.

Enseignements pour l'ingénierie et perspectives

Le travail de Lilian Weng rappelle à l'écosystème mondial que l'intelligence artificielle doit être abordée avec la rigueur des sciences physiques. L'ère de la force brute naïve cède la place à une ingénierie de haute précision où la métrologie devient le facteur différenciateur clé.

Cette clarification conceptuelle permettra également de mieux articuler les investissements entre pré-entraînement et calcul au moment de l'inférence. En identifiant précisément les limites de la compression passive des données, les chercheurs peuvent optimiser le déploiement des modèles de raisonnement guidés par renforcement. L'article de Weng s'impose d'ores et déjà comme une lecture fondatrice pour tous les architectes de systèmes d'IA de nouvelle génération.