NVIDIA가 TensorRT LLM VisualGen으로 Blackwell에서 FLUX 3 Image Klein을 빠르게 하는 방법을 설명하다: B200 한 장의 Base 2048×2048에서 컴파일하지 않은 BF16 대비 텍스트→이미지 최대 3.46배, 이미지→이미지 4.45배이지만 수치는 NVIDIA 자체 측정이고 기능 브랜치 기준이며 더 빠른 설정은 이미지를 바꾼다

2026년 11월 6일 NVIDIA는 TensorRT LLM VisualGen(TensorRT LLM 안의 확산 모델용 런타임)으로 Blackwell GPU에서 FLUX 3 Image Klein을 더 빠르게 돌리는 방법을 설명한 기술 튜토리얼을 게시했습니다. FLUX 3 Image Klein은 Black Forest Labs(BFL)의 이미지 생성·편집 모델로, 50단계 노이즈 제거와 가이던스 3.5를 쓰는 비증류 Base 체크포인트와, 16단계에 가이던스가 없는 증류 체크포인트가 있습니다. 모델 카드에는 56억 매개변수의 이미지 트랜스포머, 별도 텍스트 인코더인 Qwen3-VL-4B-Instruct, 최대 10장의 참조 이미지, BF16·FP8·NVFP4 변형, 그리고 비상업적 사용을 허용하고 자격 있는 사용자에게 상업적 출력 예외를 두는 FLUX Kommunity License가 적혀 있습니다. 글은 BFL이 이 모델을 NVIDIA GB200 NVL72 시스템에서 학습하고 NVIDIA GPU에 맞게 최적화했다고 말하므로, 업체가 자사 하드웨어를 위해 쓴 튜토리얼입니다. 아래의 모든 시간은 NVIDIA 자체 수치입니다.

글은 먼저 시간이 어디에 쓰이는지 분해합니다. NVIDIA B200 GPU 한 장에서 2048×2048 픽셀, NVFP4 가중치, torch.compile, 표준 어텐션으로 돌렸을 때, Base 텍스트→이미지는 14.70초 중 14.24초(약 96.8%)가, Base 이미지→이미지는 40.29초 중 39.40초(약 97.8%)가 노이즈 제거였습니다. 증류 모델은 텍스트→이미지에 2.71초가 걸렸고 노이즈 제거 비중은 84.0%였습니다. NVFP4 가중치만으로도 BF16보다 텍스트→이미지는 최대 1.62배, 이미지→이미지는 1.58배 빨랐습니다.

이어서 여러 최적화를 각각 자기 기준선과 비교해 시험합니다. 조정된 PrimsTS 행렬 곱셈 커널은 자동 조정된 TensorRT LLM NVFP4 구현보다 텍스트→이미지에서 1.02~1.10배 빨랐습니다. 어텐션이 트랜스포머 커널 시간의 약 60%를 차지해서, 저자들은 양자화 및 희소 변형을 시도했습니다. 표준 BF16 어텐션과 비교해 cuDNN FP8은 Base에서 1.08배, 증류에서 1.09배였고, 복구 예산 0.005의 VC-Attention FP8은 각각 1.18배와 1.16배였습니다. 희소 정도 매개변수 tau를 1.0으로 한 Sol-Attention은 Base에서 처음 16단계를 밀집으로 두면 노이즈 제거와 디코딩이 1.24배, 12단계면 1.30배 빨랐습니다. 잔차 차이 임계값 0.24가 허용할 때 단계 간 중간 출력을 재사용하는 Cache-DiT는 1024×1024에서 Base 1.97배, 증류 1.26배, 2048×2048에서 1.94배와 1.20배를 냈습니다.

이미지 품질은 지각적 거리인 LPIPS로, 같은 시드의 최적화하지 않은 출력과 비교해 평가하며 값이 낮을수록 가깝다는 뜻입니다. 글에 인용된 값에는 Base의 Cache-DiT 0.033, Base의 VC-Attention FP8 0.086, 일부 증류 또는 12 밀집 단계 설정의 0.151~0.161이 있고, tau를 높이면 속도는 거의 늘지 않으면서 품질이 떨어졌다고도 말합니다. 즉 속도 향상이 픽셀 면에서 공짜는 아닙니다. 저자들은 충실도를 중시하면 밀집 16단계, 속도를 중시하면 12단계를 권하고, 독자가 직접 비교할 수 있게 예시 출력을 보여 줍니다.

대표 결과는 B200 한 장, 2048×2048에서 여러 단계를 겹친 것이며 Base의 컴파일하지 않은 BF16과 비교한 값입니다. 컴파일, NVFP4와 PrimsTS 커널, Sol-Attention, Cache-DiT로 텍스트→이미지는 3.46배(22.36초에서 6.46초), 이미지→이미지는 4.45배(54.64초에서 12.28초)가 되었습니다. 증류 모델은 최대 2.34배였습니다. RTX PRO 6000 Blackwell Server Edition GPU 한 장에서는 1.73~3.25배였습니다. 기준선에 유의하세요. 이는 컴파일하지 않은 BF16 대비 속도 향상이며 위의 컴파일된 NVFP4 수치 대비가 아니고, 개별 배수를 단순히 곱할 수도 없습니다.

여러 GPU에서는 VisualGen이 분류기 없는 가이던스 병렬과 Ulysses 시퀀스 병렬을 씁니다. GPU 8장짜리 NVIDIA DGX B200에서 2048×2048일 때 텍스트→이미지 중앙값 지연은 Base가 14.90초에서 3.00초로, 증류가 2.73초에서 1.08초로 줄었습니다. 노이즈 제거는 6.01배와 4.44배 빨라졌지만, 증류 모델의 8 GPU 시간 중 절반쯤은 노이즈 제거 밖에 있어 전체 개선을 제한합니다. 1024×1024에서는 CUDA Graphs가 Base 지연을 1.823초에서 0.809초로, 증류를 0.791초에서 0.366초로 줄였습니다.

배포에 관해 글은 컨테이너 명령, 오프라인 스크립트, trtllm-serve로 띄우는 OpenAI 호환 /v1/images/generations 엔드포인트, 그리고 설정별 YAML 파일을 제시합니다. NVFP4는 variant를 nvfp4로 설정해 고릅니다. GPU 8장에서 Base 모델은 cfg_size 2, ulysses_size 4를, 증류 모델은 cfg_size 1, ulysses_size 8을 씁니다. 참조 구성은 안전 분류기도 불러오며, 모델 카드는 짧은 프롬프트를 그대로 보내면 평범한 출력이 나온다고 경고해 프롬프트 확장기 실행을 요구합니다.

한계는 중요합니다. 결과는 NVIDIA Blackwell 데이터센터 GPU와 RTX PRO 6000 Blackwell Server Edition에 한정되며 다른 하드웨어는 포함하지 않습니다. 평균은 워밍업 두 번 뒤의 요청 10번, 시드 0에서 나온 것이며 실행 간 편차는 제시되지 않습니다. 보고된 지연에는 BFL의 프롬프트 확장기가 빠져 있는데, 모델 카드는 이를 항상 실행하라고 하며 참조 구성에서 이는 18.8 GB 모델입니다. 컨테이너 태그와 코드 링크는 안정 버전이 아니라 기능 브랜치 feat/flux3-image-klein을 가리킵니다. LPIPS는 자동 지표이고 예시 이미지는 차 장면, 고양이 장면, 주방 정물, 카누 편집 같은 소수의 장면만 다루므로, 각 설정이 모든 프롬프트에서 어떻게 작동하는지는 보여 주지 못합니다. 우리는 어떤 수치도 재현하지 않았습니다.

우리의 해석입니다. 실제 설정 파일이 딸린 실용적이고 자세한 방법이며, 시간이 어디에 쓰이는지 보여 줍니다. Blackwell에서 FLUX 3 Klein을 서비스하는 사람은 NVFP4, 컴파일, 어텐션 옵션을 시도하고 LPIPS와 이미지를 자기 품질 기준으로 확인할 수 있습니다. 다른 GPU나 안정 버전을 쓰는 사람은 기다리는 편이 낫습니다. 가장 큰 수치는 한 업체 시험의 최선의 경우로 보고, 각 배수는 자기 기준선과 함께 읽어야 합니다.