NVIDIA介绍用TensorRT LLM VisualGen加速Blackwell上的FLUX 3 Image Klein：单块B200上Base模型2048×2048相对未编译BF16，文生图最高快3.46倍、图生图4.45倍，但都是NVIDIA自测、基于功能分支，更快的设置会改变图像

2026年11月6日，NVIDIA发表一篇技术教程，介绍如何用TensorRT LLM VisualGen（TensorRT LLM内部面向扩散模型的运行时）在Blackwell GPU上更快地运行FLUX 3 Image Klein。FLUX 3 Image Klein是Black Forest Labs（BFL）的图像生成与编辑模型，分为未蒸馏的Base检查点（50个去噪步，引导系数3.5）和蒸馏检查点（16步，无引导）。模型卡列出的是一个56亿参数的图像Transformer，以Qwen3-VL-4B-Instruct作为单独的文本编码器，最多10张参考图，提供BF16、FP8和NVFP4变体，许可证为FLUX Kommunity License，允许非商业使用，并对符合条件的用户设有商业输出例外。文章称BFL在NVIDIA GB200 NVL72系统上训练了该模型并针对NVIDIA GPU做了优化，所以这是厂商为自家硬件写的教程。下面所有耗时都是NVIDIA自己的数字。

文章先拆解了时间花在哪里。在一块NVIDIA B200 GPU上、2048乘2048像素、使用NVFP4权重、torch.compile和标准注意力时，Base文生图的14.70秒里去噪占14.24秒，约96.8%；Base图生图的40.29秒里去噪占39.40秒，约97.8%。蒸馏模型文生图用时2.71秒，去噪占84.0%。仅NVFP4权重这一项，文生图比BF16快最多1.62倍，图生图快1.58倍。

随后文章测试了几项优化，每项都有自己的基线。调优过的PrimsTS矩阵乘法内核，在文生图上比自动调优的TensorRT LLM NVFP4版本快1.02到1.10倍。注意力约占Transformer内核时间的60%，所以作者尝试了量化和稀疏的变体。与标准BF16注意力相比，cuDNN FP8对Base提速1.08倍、对蒸馏模型1.09倍；修复预算为0.005的VC-Attention FP8分别提速1.18倍和1.16倍。稀疏参数tau取1.0的Sol-Attention，在Base上以16个初始稠密步使去噪加解码快1.24倍，用12个则快1.30倍。Cache-DiT在残差差异阈值0.24允许时复用各步的中间输出，在1024乘1024下对Base提速1.97倍、对蒸馏模型1.26倍，在2048乘2048下分别为1.94倍和1.20倍。

图像质量用LPIPS（一种感知距离）评判，与同一随机种子下未优化的输出相比，数值越低越接近。文章中引用的数值包括：Base上Cache-DiT为0.033，Base上VC-Attention FP8为0.086，一些蒸馏模型或12个稠密步的设置为0.151到0.161；文章还说，更高的tau会降低质量，却几乎不增加速度。所以这些加速在像素上并不是免费的。作者建议用16个稠密步侧重保真，用12个侧重速度，并附上示例输出，读者应当自己对比。

头条结果是在单块B200、2048乘2048下把几步叠加，对比的是Base的未编译BF16：编译、NVFP4加PrimsTS内核、Sol-Attention和Cache-DiT，使文生图快3.46倍，从22.36秒降到6.46秒；图生图快4.45倍，从54.64秒降到12.28秒。蒸馏模型最高达到2.34倍。在单块RTX PRO 6000 Blackwell Server Edition GPU上，增益为1.73到3.25倍。请注意基线：这些是相对未编译BF16的加速，不是相对上文已编译NVFP4的数字，各项因子也不能简单相乘。

多GPU方面，VisualGen使用无分类器引导并行和Ulysses序列并行。在八块GPU的NVIDIA DGX B200上、2048乘2048下，文生图中位延迟在Base上从14.90秒降到3.00秒，在蒸馏模型上从2.73秒降到1.08秒。去噪分别加速6.01倍和4.44倍，但蒸馏模型八卡用时中约有一半不在去噪里，限制了端到端的收益。在1024乘1024下，CUDA Graphs把Base延迟从1.823秒降到0.809秒，把蒸馏模型从0.791秒降到0.366秒。

部署方面，文章给出了容器命令、离线脚本，以及用trtllm-serve启动的、兼容OpenAI接口的/v1/images/generations端点，每种设置都有对应的YAML文件。选择NVFP4的办法是把variant设为nvfp4。在八块GPU上，Base模型使用cfg_size为2、ulysses_size为4，蒸馏模型使用cfg_size为1、ulysses_size为8。参考配置还会加载一个安全分类器，模型卡警告说原样输入的简短提示词只会得到泛泛的输出，所以要求用户运行提示词扩写器。

局限很重要。结果只覆盖NVIDIA Blackwell数据中心GPU和RTX PRO 6000 Blackwell Server Edition，不包括其他硬件。平均值来自两次预热后的10次请求，种子为0，文章没有给出多次运行的波动。报告的延迟不含BFL的提示词扩写器，而模型卡说要始终运行它，参考配置里它是一个18.8 GB的模型。容器标签和代码链接指向功能分支feat/flux3-image-klein，不是稳定版本。LPIPS是自动化指标，示例图只覆盖茶、猫、厨房静物和独木舟编辑等少数场景，不能说明每种设置在所有提示词上的表现。我们没有复现任何数字。

我们的看法：这是一份实用而详细的方案，附有真实配置文件，也显示了时间花在哪里。在Blackwell上部署FLUX 3 Klein的人可以试用NVFP4、编译和各种注意力选项，并用自己的质量标准检查LPIPS和图像。使用其他GPU或稳定版本的人应当再等等。请把最大的数字当作单个厂商测试中的最佳情形，并把每个因子放回它自己的基线来读。