Pourquoi Gated DeltaNet dans les LLM hybrides de 27B résiste à la quantification 4 bits : Pratique de la compression NVFP4

Contexte

Le développement des grands modèles de langage hybrides se heurte à un dilemme persistant : concilier l'efficacité du calcul avec la capacité de traiter des contextes longs. Les architectures traditionnelles combinent souvent l'attention softmax avec des couches d'attention linéaire, telles que le Gated DeltaNet (GDN), qui résument l'information contextuelle via des états récurrents de taille fixe. Une intuition répandue dans la communauté scientifique suggérait que ces couches linéaires résistaient à la quantification en basse précision. La crainte principale était que les erreurs de quantification ne s'accumulent sur de longues séquences en raison de la nature récursive des mises à jour d'état, dégradant ainsi significativement la performance du modèle. Par conséquent, la pratique standard consistait à conserver une haute précision, généralement 8 ou 16 bits, pour les modules GDN, en particulier pour les portes de décroissance et d'intensité d'écriture, tandis que le reste du réseau était quantifié.

Cette sagesse conventionnelle a créé un goulot d'étranglement pour le déploiement à grande échelle des modèles hybrides, car maintenir une haute précision pour ces couches augmente l'empreinte mémoire et réduit la vitesse d'inférence. La récente introduction du schéma de quantification Minima remet directement en cause cette hypothèse. Minima propose une approche de quantification complète du modèle utilisant le format NVFP4 W4A4, visant à quantifier les 496 couches linéaires, y compris celles au sein des modules GDN. Cela représente une rupture significative avec les méthodes précédentes qui préservaient sélectivement la précision. L'hypothèse centrale de cette recherche est que, grâce à des stratégies de quantification appropriées, les composants récurrents des modèles hybrides ne sont pas seulement stables sous des contraintes de basse précision, mais peuvent également présenter une tolérance plus élevée au bruit de quantification grâce à leurs propriétés dynamiques uniques.

Analyse approfondie

Le fondement technique du schéma Minima réside dans son application sophistiquée du NVFP4 (Non-Uniform Vector Float 4-bit) combiné au W4A4 (poids 4 bits et activations 4 bits). Plutôt que d'appliquer une stratégie de quantification uniforme à travers le réseau, les chercheurs ont conçu une approche nuancée adaptée à la structure spécifique du GDN. Une innovation clé est l'utilisation du mécanisme de mise à l'échelle par blocs de 16 éléments du NVFP4. Cette technique localise efficacement les valeurs aberrantes extrêmes dans le flux résiduel, équilibrant ainsi les erreurs d'activation entre les différentes couches et rôles au sein du modèle. En gérant ces valeurs aberrantes à un niveau granulaire, le schéma empêche qu'une seule grande erreur ne domine le budget de bruit de quantification, ce qui est crucial pour maintenir la stabilité des couches récurrentes.

Contrairement aux attentes, l'étude a révélé que les couches de projection de porte, considérées auparavant comme fragiles et sensibles à la quantification, sont en réalité les composants les plus robustes face aux erreurs de quantification. Grâce à l'utilisation de fonctions paramétrées telles que softplus, exponentiel et sigmoïde, ces projections de porte peuvent compresser environ 11 % de l'erreur de multiplication matricielle générale (GEMM) en seulement environ 2 % d'erreur de sortie. De plus, la recherche aborde un détail d'implémentation critique : le désalignement qui se produit lorsque les points de contrôle calibrés au niveau du module sont fusionnés en un seul noyau GEMM. Les auteurs démontrent que ce désalignement d'échelle global peut être résolu, et que l'utilisation de caches Clé-Valeur (KV) FP8 calibrés n'entraîne aucun surcoût computationnel supplémentaire, rendant l'optimisation "gratuite" en termes de coût de performance. Cette insight simplifie le pipeline de déploiement en supprimant le besoin de réglage fin complexe ou d'étapes de calibration supplémentaires après le déploiement.

Impact sur l'industrie

La validation expérimentale du schéma Minima a été réalisée sur le modèle Qwen3.8-27B, une architecture hybride comportant 48 couches GDN et 16 couches d'attention. L'évaluation a couvert une suite complète de benchmarks, incluant la perplexité à des longueurs de contexte de 4K et 32K, MMLU-Pro, GSM8K, AIME'25, GPQA-Diamond, LiveCodeBench et les tâches de récupération RULER avec des contextes allant jusqu'à 64K. Les résultats ont été frappants : le modèle quantifié a atteint une performance quasi identique à la ligne de base BF16, avec une différence moyenne de seulement -0,52 % sur cinq tâches. Cette variance se situe dans la plage du bruit de graine, indiquant que le processus de quantification n'a introduit aucune dégradation statistiquement significative des performances. Ces résultats valident la faisabilité d'une quantification agressive dans les modèles hybrides de niveau production.

Au-delà de la précision, les avantages pratiques pour le déploiement industriel sont substantiels. Le schéma Minima comprime la taille du modèle à 17,5 GiB, le rendant le plus petit parmi les modèles comparés, et accélère les vitesses de préremplissage de 14 à 19 %. Cette réduction de l'empreinte mémoire et cette augmentation de la vitesse rendent feasible le déploiement de modèles hybrides de classe 27B sur des appareils grand public ou périphériques, réduisant considérablement les coûts d'inférence. Pour la communauté open source, la publication des poids du modèle Minima facilite la reproductibilité et la recherche ultérieure sur les architectures hybrides efficaces. La capacité à maintenir une haute performance avec des ressources réduites est particulièrement précieuse pour les applications nécessitant un traitement en temps réel ou fonctionnant dans des environnements contraints, tels que les appareils mobiles ou les serveurs périphériques.

Perspectives

Les implications de cette recherche s'étendent au-delà des réalisations techniques immédiates, offrant un nouveau cadre théorique pour comprendre la quantification dans les réseaux neuronaux récurrents et les modèles d'espace d'état. La constatation selon laquelle les parties récurrentes des modèles hybrides sont plus faciles à quantifier qu'on ne le pensait remet en cause les intuitions existantes et pourrait amener les chercheurs à réévaluer le potentiel de quantification d'autres architectures, telles que Mamba. Le mécanisme identifié, où la récursivité de la règle Delta maintient le bruit injecté sur un plateau plat et oublie les impulsions d'état en quelques centaines d'étapes, fournit une explication claire pour laquelle la performance sur contexte long ne se détériore pas. Cette compréhension peut guider le développement d'algorithmes de quantification plus robustes pour une gamme plus large d'architectures de modèles.

À l'avenir, le schéma Minima établit une nouvelle norme pour le déploiement efficace des grands modèles de langage. En prouvant que la quantification complète du modèle en NVFP4 W4A4 est viable sans perte de performance, il encourage l'industrie à adopter des techniques de compression plus agressives. La recette "quantifier tout et distribuer les échelles KV" simplifie le flux de travail de déploiement, réduisant la barrière à l'entrée pour le service de modèles efficaces. À mesure que la demande pour des fenêtres de contexte plus longues et une latence plus faible continue de croître, les insights fournis par cette étude influenceront probablement la conception des modèles hybrides de nouvelle génération, en privilégiant les architectures intrinsèquement plus compatibles avec la quantification en basse précision. Ce changement pourrait accélérer l'adoption des grands modèles de langage dans diverses applications, de la traduction en temps réel à la génération de code complexe, en rendant l'IA performante plus accessible et rentable.