BitDecoding-FP4：FP4 KVキャッシュのネイティブ復号
長いコンテキストのLLMサービングでは、KVキャッシュがGPUメモリの容量と帯域の両方を圧迫します。NVFP4やMXFP4などの4ビットmicroscalingフォーマットはキャッシュを縮小し、attentionをFP4 Tensor Core上で実行できます。しかし既存のFP4 KVシステムは単純な量子化のため精度低下が大きく、精度重視の4ビット手法はベクトルコードブックに依存し、テーブル参照のオーバーヘッドがデコードのスループットを下げます。BitDecoding-FP4は、アルゴリズムとシステムの協調設計でこの溝を埋めます。アルゴリズム面は3点です。Dual-Residual Query Quantizationはqueryを2つのFP4テンソルに分け、query logit誤差を60%から1%に低減します。Underflow-Aware Probability Scalingは、E4M3 scaleが長コンテキストの確率をゼロに丸めるのを防ぎます。Outlier-Aware Key Quantizationは、静的スムージング、Hadamard回転、scale探索を組み合わせてkeyの外れ値を抑えます。システム面では、転置softmax、融合した確率量子化、paged KVキャッシュ向けのスタック型query MMAでsoftmaxのボトルネックを解消します。密モデルとMoE、GQAとMLAの各構成で、NVFP4の精度はBF16 KVとの差が0.5ポイント以内、MXFP4は1ポイント以内で、RL学習のrolloutでもBF16 KVに追随します。NVIDIA B300でQwen3-4BとQwen3-30B-A3Bを提供した場合、ピークスループットはBF16 KVの2.4〜3.0倍です。
背景と概要
長いコンテキストのLLMサービングでは、KVキャッシュがGPUメモリの容量を占めるだけでなく、デコードの各ステップでキャッシュ全体が読み出されるため、メモリ帯域も圧迫します。コンテキストが長くなり、同時リクエスト数が増えるほど、この負担は重くなります。
自然な対策は、キャッシュを4ビットに圧縮することです。NVFP4やMXFP4などの4ビットmicroscalingフォーマットは、キャッシュを縮小できます。さらに、attentionをFP4 Tensor Core上で直接実行でき、逆量子化の遠回りも省けます。ところが論文によると、アルゴリズム研究とシステム高速化の間には溝がありました。既存のFP4 KVシステムは単純な量子化を使うため、速度は出ても精度が大きく落ちます。精度重視の4ビット手法はベクトルコードブックに依存し、テーブル参照のオーバーヘッドがデコードのスループットを下げます。
BitDecoding-FP4は、この溝を埋めるためのアルゴリズムとシステムの協調設計です。目標は、正確で効率のよいネイティブFP4 KVデコードです。著者らは誤差の発生源を分け、query、確率、keyの3か所を個別に扱い、最後にシステム面でsoftmaxのボトルネックを取り除きます。密モデルとMoE、GQAとMLAの両方で検証され、実装はGitHubで公開されています。
深掘り分析
1つ目の技術はDual-Residual Query Quantizationです。ネイティブFP4計算ではqueryも量子化する必要があり、1回のFP4量子化ではquery logitに大きな誤差が残ります。そこでqueryを2つのFP4テンソルに分け、2つ目が1つ目の残差を補います。論文の要旨によれば、これでquery logit誤差は60%から1%に下がります。 2つ目はUnderflow-Aware Probability Scalingです。長いコンテキストでは個々のsoftmax確率が非常に小さくなります。確率の量子化に使うE4M3 scaleがゼロに丸められると、ブロック全体の確率がゼロになり、後段のvalueとの積和で情報が失われます。この技術は確率のスケーリングを調整し、下溢を防ぎます。 3つ目はOutlier-Aware Key Quantizationです。keyには外れ値があり、token単位のスケーリングでは外れ値1つがそのtoken全体の量子化範囲を広げ、他のチャネルの精度を損ねます。著者らは静的スムージング、Hadamard回転、scale探索を組み合わせます。スムージングと回転で外れ値の影響を分散させ、scale探索でグループごとに適切なスケールを選びます。
BitDecoding-FP4はsoftmaxのボトルネックをどう解消するのでしょうか。答えは転置softmaxと融合した確率量子化の組み合わせです。確率の量子化に専用のメモリ読み書きが要らなくなります。paged KVキャッシュ向けには、スタック型query MMAでMMAユニットをより効率よく使います。
業界への影響
精度はBF16 KVとの差で示されています。NVFP4では0.5ポイント以内、MXFP4では1ポイント以内です。MXFP4の差がやや大きい点は、フォーマットのscale表現が誤差に影響することを示唆します。要旨には評価ベンチマーク名がないため、ここでは差のみを紹介します。RL学習のrolloutでもBF16 KVに追随します。KV量子化による分布のずれが大きいと学習信号を乱すため、これは敏感な検証です。
性能面では、NVIDIA B300でQwen3-4B(小型の密モデル)とQwen3-30B-A3B(MoE)を提供するエンドツーエンド評価が行われました。ピークスループットはBF16 KVの2.4〜3.0倍です。キャッシュが小さくなれば、同じカードでより長いコンテキストやより多くの同時リクエストを扱えます。同じハードウェアでの提供コストを下げる効果が見込めます。
これまでの道は、単純な量子化で精度を諦めるか、コードブックで精度を取りスループットを諦めるかの二択でした。本研究は、誤差源を分けてアルゴリズムをハードウェアのデータ経路に合わせれば両立できることを示しました。実装が公開されているため、推論エンジンの開発者は転置softmaxや融合確率量子化、スタック型query MMAを直接参照できます。学習と推論で低精度キャッシュを共有したいチームにとっても、rolloutでの一致は懸念を1つ減らします。
今後の展望
論文の根拠には限界があります。要旨が示すサービング結果はQwen3の2モデルだけです。技術ごとのアブレーション数値もなく、各要素の個別の寄与はここでは定量化できません。より多くのモデルや、さらに長いコンテキストでの挙動は、今後の検証が必要です。
注目点は3つあります。NVFP4の0.5ポイント、MXFP4の1ポイントという差が他のモデル系列や幅広いコンテキスト長でも保たれるか。2.4〜3.0倍の向上のうち、キャッシュ縮小によるものとシステム技法によるものがどの程度か。そして、スタック型query MMAや融合確率量子化が主要な推論エンジンに採用されるかどうかです。
現時点でBitDecoding-FP4は、ネイティブFP4 KVデコードがBF16に近い精度を保ちつつ、B300でピークスループットを高められることを示す具体的な一例です。
Sources
FAQ
BitDecoding-FP4とは何ですか？
BitDecoding-FP4は、長いコンテキストのLLMサービングでFP4 KVキャッシュをネイティブに復号するための、アルゴリズムとシステムの協調設計です。query、確率、keyの誤差を個別に抑え、転置softmaxや融合した確率量子化などでsoftmaxのボトルネックを解消します。実装はGitHubで公開されています。
BitDecoding-FP4はなぜ重要で、どれだけ性能が上がりますか？
長いコンテキストのサービングでは、KVキャッシュがGPUメモリの容量と帯域の両方を圧迫します。BitDecoding-FP4では、NVFP4の精度がBF16 KVとの差0.5ポイント以内、MXFP4が1ポイント以内です。NVIDIA B300でQwen3-4BとQwen3-30B-A3Bを提供した場合、ピークスループットはBF16 KVの2.4〜3.0倍になります。
BitDecoding-FP4について今後何に注目すべきですか？
BitDecoding-FP4で注目すべきは、検証範囲の外でも結果が保たれるかです。記事が示すサービング結果はNVIDIA B300上のQwen3-4BとQwen3-30B-A3Bのみで、技術ごとのアブレーション数値は示されていません。他のモデルやより長いコンテキストでの検証が待たれ、公開されたGitHub実装で試せます。