BitDecoding-FP4: natives FP4-KV-Cache-Decoding

Hintergrund

Beim Serving von LLMs mit langem Kontext gehört der KV-Cache zu den größten Ressourcenverbrauchern auf der GPU. Er belegt viel Speicherkapazität, und bei jedem Decoding-Schritt wird er vollständig neu gelesen. Damit frisst er auch Speicherbandbreite. Je länger der Kontext und je mehr gleichzeitige Anfragen, desto stärker wirken beide Kosten.

Die Kompression auf 4 Bit liegt nahe. 4-Bit-Microscaling-Formate wie NVFP4 und MXFP4 verkleinern den Cache. Sie erlauben es außerdem, Attention direkt auf FP4-Tensor-Cores zu berechnen, sodass der Umweg über die Dequantisierung entfällt. Die Autoren von BitDecoding-FP4 stellen jedoch fest, dass Algorithmenforschung und Systemarbeit in diesem Feld bisher nicht zusammenfinden. Bisherige FP4-KV-Systeme setzen auf naive Quantisierung. Sie gewinnen Tempo, verlieren aber deutlich an Genauigkeit. Genauigkeitsorientierte 4-Bit-Verfahren stützen sich dagegen auf Vektor-Codebooks, und die nötigen Tabellenzugriffe bremsen den Decoding-Durchsatz. Keine Seite liefert Genauigkeit und Effizienz zugleich.

BitDecoding-FP4 ist als Co-Design von Algorithmus und System gedacht, das diese Lücke schließt. Das Ziel ist ein genaues und effizientes natives FP4-KV-Decoding. Die Autoren trennen zunächst die Fehlerquellen. Danach behandeln sie Query, Attention-Wahrscheinlichkeiten und Keys einzeln und beseitigen schließlich auf Systemebene den Softmax-Engpass. Validiert wurde das Verfahren an dichten und MoE-Modellen, mit GQA- wie MLA-Attention. Die Implementierung ist auf GitHub quelloffen verfügbar.

Tiefenanalyse

Der erste Algorithmusbaustein ist die Dual-Residual Query Quantization. Native FP4-Berechnung verlangt, dass auch die Query quantisiert wird. Ein einziger FP4-Durchgang hinterlässt dabei einen großen Fehler in den Query-Logits. Die Autoren teilen die Query deshalb in zwei FP4-Tensoren. Der zweite Tensor gleicht den Rest aus, den der erste übrig lässt, sodass beide niedrig aufgelösten Teile zusammen dem Originalwert nahekommen. Laut Abstract sinkt der Query-Logit-Fehler dadurch von 60 % auf 1 %. Der zweite Baustein ist die Underflow-Aware Probability Scaling. Bei langem Kontext ist jede einzelne Softmax-Wahrscheinlichkeit sehr klein. Der E4M3-Scale, der beim Quantisieren der Wahrscheinlichkeiten verwendet wird, kann dann auf null gerundet werden, und ein ganzer Block von Wahrscheinlichkeiten fällt auf null. Die spätere Multiplikation und Akkumulation mit den Values verliert diese Information. Das Verfahren passt die Skalierung der Wahrscheinlichkeiten an und verhindert so den Underflow.

Der dritte Baustein ist die Outlier-Aware Key Quantization. Key-Tensoren enthalten Ausreißer. Bei tokenweiser Skalierung weitet ein einzelner Ausreißer den Quantisierungsbereich des gesamten Tokens und beschädigt die Genauigkeit der übrigen Kanäle. Die Autoren kombinieren statisches Smoothing, Hadamard-Rotation und Scale-Suche. Smoothing und Rotation verteilen die Energie der Ausreißer auf mehrere Kanäle. Die Scale-Suche wählt anschließend für jede Gruppe von Werten einen besseren Scale. Wie beseitigt BitDecoding-FP4 den Softmax-Engpass? Dafür nutzt das System drei Techniken. Ein transponiertes Softmax wird mit fusionierter Wahrscheinlichkeitsquantisierung kombiniert, sodass die Quantisierung der Wahrscheinlichkeiten keinen eigenen Durchlauf über den Speicher mehr braucht. Für paged KV-Caches sorgt ein MMA mit gestapelten Queries dafür, dass die Matrixeinheiten besser ausgelastet sind. Die berichteten Genauigkeitswerte beziehen sich auf BF16-KV. Mit NVFP4 liegt die Genauigkeit höchstens 0,5 Punkte darunter, mit MXFP4 höchstens 1 Punkt. Die etwas größere Lücke bei MXFP4 deutet darauf hin, dass die Scale-Darstellung des Formats den Fehler beeinflusst. Das Abstract nennt keine Benchmarks, weshalb hier nur die Abstände wiedergegeben werden. Bei RL-Rollouts hält das Verfahren mit BF16-KV Schritt. Das ist ein empfindlicher Test, denn eine große Verteilungsverschiebung durch KV-Quantisierung könnte das Trainingssignal stören.

Branchenwirkung

Beim Tempo führten die Autoren End-to-End-Serving-Tests auf NVIDIA B300 durch. Als Modelle dienten Qwen3-4B, ein kleines dichtes Modell, und Qwen3-30B-A3B, ein MoE-Modell. Der Spitzendurchsatz liegt 2,4- bis 3,0-mal höher als mit BF16-KV. Für Betreiber bedeutet ein kleinerer Cache, dass dieselbe Karte einen längeren Kontext oder mehr gleichzeitige Anfragen aufnehmen kann. Ein höherer Spitzendurchsatz sollte die Kosten pro ausgeliefertem Token auf gleicher Hardware senken.

Das Ergebnis verschiebt auch die Problemstellung. Frühere Wege nahmen entweder geringere Genauigkeit für einfache Quantisierung in Kauf oder geringeren Durchsatz für die Genauigkeit der Codebooks. Die Arbeit zeigt, dass beide Ziele erreichbar sind, wenn man die Fehlerquellen trennt und den Algorithmus an den Datenpfad der Hardware anpasst. Das Paper zielt auf die FP4-Tensor-Cores der B300 aus der Blackwell-Generation. Es kann daher als Referenz für Low-Precision-Attention auf späterer Hardware dienen.

Die quelloffene Veröffentlichung ist für Entwickler von Inferenz-Engines wichtig. Sie können das transponierte Softmax, die fusionierte Wahrscheinlichkeitsquantisierung und das MMA mit gestapelten Queries direkt studieren. Forschende können auf demselben Code aggressivere Quantisierungsschemata aufbauen. Die Übereinstimmung mit BF16-KV bei RL-Rollouts räumt zudem eine Sorge für Teams aus, die einen Low-Precision-Cache zwischen Training und Inferenz teilen wollen.

Ausblick

Die Belege des Papers haben Grenzen. Das Abstract berichtet Serving-Ergebnisse nur für zwei Qwen3-Modelle. Zahlen zu einzelnen Ablationen fehlen, daher lässt sich der Beitrag jedes Algorithmusbausteins hier nicht beziffern. Das Verhalten bei weiteren Modellen und längeren Kontexten muss in Folgearbeiten geprüft werden.

Drei Punkte verdienen als Nächstes Aufmerksamkeit. Erstens, ob die Lücke von 0,5 Punkten bei NVFP4 und 1 Punkt bei MXFP4 auch bei anderen Modellfamilien und über das gesamte Spektrum der Kontextlängen hält. Zweitens, welcher Anteil des 2,4- bis 3,0-fachen Gewinns vom kleineren Cache stammt und welcher von den Systemtechniken. Drittens, ob gängige Inferenz-Engines das MMA mit gestapelten Queries und die fusionierte Wahrscheinlichkeitsquantisierung übernehmen.

Vorerst ist BitDecoding-FP4 ein konkreter Datenpunkt: Natives FP4-KV-Decoding kann nahe an der Genauigkeit von BF16 bleiben und zugleich den Spitzendurchsatz auf der B300 erhöhen.