NVIDIAがTensorRT LLM VisualGenでBlackwell上のFLUX 3 Image Kleinを高速化する方法を解説：B200 1枚・Base・2048×2048で未コンパイルのBF16比、テキストから画像は最大3.46倍、画像から画像は4.45倍だが、数値はNVIDIA自身のもので機能ブランチ上のものであり、速い設定は画像を変える

2026年11月6日、NVIDIAはBlackwell GPU上でFLUX 3 Image Kleinをより速く動かす方法を、TensorRT LLM VisualGen（TensorRT LLM内の拡散モデル向けランタイム）を使って解説する技術チュートリアルを公開しました。FLUX 3 Image KleinはBlack Forest Labs（BFL）の画像生成・編集モデルで、50ステップとガイダンス係数3.5を使う未蒸留のBaseチェックポイントと、16ステップでガイダンスなしの蒸留チェックポイントがあります。モデルカードには、56億パラメータの画像用トランスフォーマー、別体のテキストエンコーダーとしてQwen3-VL-4B-Instruct、最大10枚の参照画像、BF16・FP8・NVFP4の各版、そして非商用利用と対象ユーザー向けの商用出力の例外を認めるFLUX Kommunity Licenseが記されています。記事は、BFLがこのモデルをNVIDIA GB200 NVL72システムで学習しNVIDIA GPU向けに最適化したと述べており、ベンダーが自社ハードウェア向けに書いたチュートリアルです。以下の時間はすべてNVIDIA自身の数値です。

記事はまず、時間がどこにかかるかを分解しています。NVIDIA B200 GPU 1枚で2048×2048ピクセル、NVFP4の重みとtorch.compile、標準のアテンションを使うと、Baseのテキストから画像では14.70秒のうち14.24秒、約96.8%がデノイズで、Baseの画像から画像では40.29秒のうち39.40秒、約97.8%がデノイズでした。蒸留モデルのテキストから画像は2.71秒で、デノイズは84.0%です。NVFP4の重みだけで、BF16よりテキストから画像は最大1.62倍、画像から画像は1.58倍速くなりました。

続いて、それぞれ別の基準で複数の最適化を試しています。調整済みのPrimsTS行列積カーネルは、自動調整されたTensorRT LLMのNVFP4版よりテキストから画像で1.02〜1.10倍速くなりました。アテンションはトランスフォーマーのカーネル時間の約60%を占めるため、著者らは量子化版とスパース版を試しました。標準のBF16アテンションと比べ、cuDNN FP8はBaseで1.08倍、蒸留で1.09倍、修復予算0.005のVC-Attention FP8はそれぞれ1.18倍と1.16倍でした。スパース度のパラメータtauを1.0にしたSol-Attentionは、Baseで最初の16ステップを密にすると、デノイズとデコードが1.24倍、12ステップなら1.30倍速くなりました。残差差の閾値0.24で各ステップの中間出力を再利用するCache-DiTは、1024×1024でBaseが1.97倍、蒸留が1.26倍、2048×2048では1.94倍と1.20倍でした。

画質は、知覚的な距離であるLPIPSで、同じシードの最適化なしの出力と比べて評価されます。値が低いほど近い意味です。記事に出てくる値には、BaseのCache-DiTで0.033、BaseのVC-Attention FP8で0.086、一部の蒸留または12密ステップの設定で0.151〜0.161があり、tauを上げると品質が下がり速度はほとんど増えないとも述べています。つまり、高速化は画素の面で無料ではありません。著者は忠実さを重視するなら16密ステップ、速度を重視するなら12を勧め、読者が自分で比べられるよう出力例を載せています。

見出しの結果は、B200 1枚・2048×2048でいくつかの段階を重ね、Baseの未コンパイルBF16と比べたものです。コンパイル、NVFP4とPrimsTSカーネル、Sol-Attention、Cache-DiTにより、テキストから画像は3.46倍で22.36秒から6.46秒に、画像から画像は4.45倍で54.64秒から12.28秒になりました。蒸留モデルは最大2.34倍です。RTX PRO 6000 Blackwell Server Edition GPU 1枚では1.73〜3.25倍でした。基準に注意してください。これらは未コンパイルのBF16に対する高速化で、上記のコンパイル済みNVFP4の数字に対するものではなく、個々の倍率を単純に掛け合わせることもできません。

複数GPUでは、VisualGenはClassifier-free guidance並列とUlysses系列並列を使います。8枚のGPUを積んだNVIDIA DGX B200で2048×2048のとき、テキストから画像の中央値の遅延は、Baseで14.90秒から3.00秒に、蒸留で2.73秒から1.08秒に下がりました。デノイズは6.01倍と4.44倍に速くなりましたが、蒸留の8GPU時間の約半分はデノイズ以外にあり、全体の改善を制限しています。1024×1024では、CUDA GraphsによりBaseの遅延が1.823秒から0.809秒に、蒸留が0.791秒から0.366秒になりました。

展開については、記事はコンテナのコマンド、オフライン用のスクリプト、trtllm-serveで起動するOpenAI互換の/v1/images/generationsエンドポイント、そして各設定のYAMLファイルを示しています。NVFP4はvariantをnvfp4に設定して選びます。GPU 8枚では、Baseモデルはcfg_sizeを2、ulysses_sizeを4にし、蒸留モデルはcfg_sizeを1、ulysses_sizeを8にします。参考構成は安全分類器も読み込み、モデルカードは短いプロンプトをそのまま送ると平凡な出力になると警告して、プロンプト拡張の実行を求めています。

限界は重要です。結果はNVIDIAのBlackwellデータセンターGPUとRTX PRO 6000 Blackwell Server Editionに限られ、他のハードウェアは含みません。平均は2回のウォームアップ後の10リクエスト、シード0によるもので、実行ごとのばらつきは示されていません。報告された遅延にはBFLのプロンプト拡張が含まれませんが、モデルカードは常に実行するよう述べており、参考構成ではそれは18.8 GBのモデルです。コンテナのタグとコードのリンクは安定版ではなく、機能ブランチfeat/flux3-image-kleinを指しています。LPIPSは自動的な指標で、出力例はお茶、猫、キッチンの静物、カヌーの編集といった少数の場面だけなので、各設定があらゆるプロンプトでどう振る舞うかは示せません。私たちはどの数値も再現していません。

私たちの見方です。これは実際の設定ファイルが付いた実用的で詳細な手順で、時間がどこにかかるかも示しています。BlackwellでFLUX 3 Kleinを提供する人は、NVFP4、コンパイル、各種アテンションを試し、LPIPSと画像を自分たちの品質基準で確かめられます。他のGPUや安定版を使う人は待つのがよいでしょう。最大の数字は一社の試験での最良の場合と受け止め、それぞれの倍率は自分の基準と合わせて読んでください。