Warum Gated DeltaNet in hybriden 27B-LLMs 4-Bit-Quantisierung standhält: NVFP4-Vollpräzisionskompression in der Praxis

Hintergrund

Die Entwicklung hybrider großer Sprachmodelle steht seit jeher vor der fundamentalen Herausforderung, einen optimalen Kompromiss zwischen Recheneffizienz und der Fähigkeit zur Verarbeitung langer Kontexte zu finden. Traditionelle Architekturen kombinieren häufig Softmax-Aufmerksamkeitsmechanismen mit linearen Aufmerksamkeitschichten wie Gated DeltaNet (GDN), die Kontextinformationen durch rekursive Zustände fester Größe zusammenfassen. In der Forschungscommunity herrschte lange Zeit die intuitive Annahme vor, dass diese linearen Schichten anfällig für Quantisierungsfehler sind. Die Befürchtung bestand darin, dass sich Quantisierungsfehler über lange Sequenzen hinweg aufgrund der rekursiven Natur der Zustandsaktualisierungen akkumulieren und die Modellleistung erheblich beeinträchtigen könnten. Daher war es übliche Praxis, für GDN-Module, insbesondere für kritische Komponenten wie Abfall- und Schreibintensitätstore, eine hohe Präzision von 8 oder 16 Bit beizubehalten, während andere Netzwerkteile quantisiert wurden.

Diese konventionelle Weisheit hat jedoch einen Engpass für die skalierbare Bereitstellung hybrider Modelle geschaffen, da die Beibehaltung hoher Präzision für diese Schichten den Speicherbedarf erhöht und die Inferenzgeschwindigkeit verringert. Das kürzlich vorgestellte Quantisierungsschema Minima stellt diese Annahme direkt in Frage. Minima proposes einen Ansatz zur Vollmodellquantisierung im NVFP4 W4A4-Format, der darauf abzielt, alle 496 linearen Schichten, einschließlich derer in den GDN-Modulen, zu quantisieren. Dies stellt eine signifikante Abkehr von früheren Methoden dar, die selektiv die Präzision bewahrten. Die zentrale Hypothese dieser Forschung lautet, dass die rekursiven Komponenten hybrider Modelle bei angemessenen Quantisierungsstrategien nicht nur unter Niedrigbit-Beschränkungen stabil sind, sondern aufgrund ihrer einzigartigen dynamischen Eigenschaften sogar eine höhere Toleranz gegenüber Quantisierungsrauschen aufweisen könnten.

Tiefenanalyse

Die technische Grundlage des Minima-Schemas liegt in der ausgeklügelten Anwendung von NVFP4 (Non-Uniform Vector Float 4-bit) in Kombination mit W4A4 (4-Bit-Gewichte und 4-Bit-Aktivierungen). Anstatt eine einheitliche Quantisierungsstrategie über das gesamte Netzwerk anzuwenden, entwickelten die Forscher einen nuancierten Ansatz, der speziell auf die Struktur von GDN zugeschnitten ist. Eine Schlüsselinnovation ist die Nutzung des 16-Element-Blockskalierungsmechanismus von NVFP4. Diese Technik lokalisiert effektiv extreme Ausreißer im Residualstrom und gleicht Aktivierungsfehler über verschiedene Schichten und Rollen im Modell aus. Durch die granulare Verwaltung dieser Ausreißer verhindert das Schema, dass einzelne große Fehler das Quantisierungsrauschbudget dominieren, was für die Stabilität in rekursiven Schichten entscheidend ist.

Entgegen der Erwartung stellte die Studie fest, dass Torprojektionsschichten, die zuvor als zerbrechlich und empfindlich gegenüber Quantisierung betrachtet wurden, tatsächlich die robustesten Komponenten gegen Quantisierungsfehler sind. Durch den Einsatz parametrisierter Funktionen wie Softplus, Exponential und Sigmoid können diese Torprojektionen etwa 11 Prozent des Fehlers bei der allgemeinen Matrixmultiplikation (GEMM) auf nur etwa 2 Prozent des Ausgangsfehlers komprimieren. Darüber hinaus adressiert die Forschung ein kritisches Implementierungsdetail: die Fehlanpassung, die auftritt, wenn modulebene kalibrierte Checkpoints zu einem einzelnen GEMM-Kernel fusioniert werden. Die Autoren zeigen, dass diese globale Skalenfehlpassung behoben werden kann und dass die Verwendung kalibrierter FP8 Key-Value-Kernels keine zusätzlichen Rechenoverheads verursacht, was die Optimierung in Bezug auf die Leistungskosten als „frei“ macht. Diese Erkenntnis vereinfacht die Bereitstellungs-Pipeline, da keine komplexen Feinabstimmungen oder zusätzlichen Kalibrierungsschritte nach der Bereitstellung erforderlich sind.

Branchenwirkung

Die experimentelle Validierung des Minima-Schemas wurde am Qwen3.8-27B-Modell durchgeführt, einer hybriden Architektur mit 48 GDN-Schichten und 16 Aufmerksamkeitschichten. Die Bewertung umfasste eine umfassende Suite von Benchmarks, einschließlich Perplexität bei 4K und 32K Kontextlängen, MMLU-Pro, GSM8K, AIME'25, GPQA-Diamond, LiveCodeBench und RULER-Suchaufgaben mit Kontexten bis zu 64K. Die Ergebnisse waren beeindruckend: Das quantisierte Modell erreichte eine Leistung, die der BF16-Baseline nahezu identisch war, mit einer durchschnittlichen Differenz von nur -0,52 Prozent über fünf Aufgaben. Diese Varianz liegt im Bereich des Seed-Rauschens, was darauf hindeutet, dass der Quantisierungsprozess keine statistisch signifikante Leistungsminderung einführte. Solche Ergebnisse validieren die Machbarkeit aggressiver Quantisierung in produktionsreifen hybriden Modellen.

Über die Genauigkeit hinaus sind die praktischen Vorteile für die industrielle Bereitstellung erheblich. Das Minima-Schema komprimiert die Modellgröße auf 17,5 GiB, was es zum kleinsten der verglichenen Modelle macht, und steigert die Prefill-Geschwindigkeiten um 14 bis 19 Prozent. Diese Reduzierung des Speicherbedarfs und die Erhöhung der Geschwindigkeit machen es möglich, 27B-Klasse-hybride Modelle auf Consumer-Grade- oder Edge-Geräten bereitzustellen, was die Inferenzkosten erheblich senkt. Für die Open-Source-Community erleichtert die Veröffentlichung der Minima-Modellgewichte die Reproduzierbarkeit und weitere Forschung zu effizienten Hybridarchitekturen. Die Fähigkeit, hohe Leistung mit reduzierten Ressourcen aufrechtzuerhalten, ist insbesondere für Anwendungen von Wert, die Echtzeitverarbeitung erfordern oder in ressourcenbeschränkten Umgebungen wie mobilen Geräten oder Edge-Servern operieren.

Ausblick

Die Implikationen dieser Forschung gehen über die unmittelbaren technischen Errungenschaften hinaus und bieten einen neuen theoretischen Rahmen für das Verständnis von Quantisierung in rekursiven neuronalen Netzwerken und Zustandsraummodellen. Die Erkenntnis, dass rekursive Teile hybrider Modelle leichter zu quantisieren sind als bisher angenommen, stellt bestehende Intuitionen in Frage und könnte Forscher dazu veranlassen, das Quantisierungspotenzial anderer Architekturen, wie Mamba, neu zu bewerten. Der identifizierte Mechanismus, bei dem die Delta-Regel-Rekursion eingegebenes Rauschen auf einem flachen Plateau hält und Zustandsimpulse innerhalb von Hunderten von Schritten vergisst, bietet eine klare Erklärung dafür, warum die Leistung bei langen Kontexten nicht nachlässt. Dieses Verständnis kann die Entwicklung robusterer Quantisierungsalgorithmen für eine breitere Palette von Modellarchitekturen leiten.

Zukünftig setzt das Minima-Schema einen neuen Standard für die effiziente Bereitstellung großer Sprachmodelle. Indem es beweist, dass eine Vollmodellquantisierung auf NVFP4 W4A4 ohne Leistungsverlust machbar ist, ermutigt es die Industrie, aggressivere Kompressionstechniken zu übernehmen. Das Rezept „quantisieren Sie alles und verteilen Sie KV-Skalen“ vereinfacht den Bereitstellungsworkflow und senkt die Einstiegshürden für den effizienten Modellservice. Da die Nachfrage nach längeren Kontextfenstern und niedrigerer Latenz weiter wächst, werden die in dieser Studie bereitgestellten Erkenntnisse wahrscheinlich das Design nachfolgender Generationen hybrider Modelle beeinflussen, wobei Architekturen priorisiert werden, die inhärent kompatibler mit Niedrigbit-Quantisierung sind. Dieser Wandel könnte die Adoption großer Sprachmodelle in vielfältigen Anwendungen, von der Echtzeitübersetzung bis zur komplexen Codegenerierung, beschleunigen, indem leistungsfähige KI zugänglicher und kosteneffektiver gemacht wird.