NVIDIA, 강화학습 가중치 refit용 Reshard 집합 통신 제안: 자체 벤치마크에서 refit 지연 2.7~5.7배 단축이나 refit만 잰 것이며 종단 간 학습이 아니고, NeMo RL의 기능은 실험적이며 Megatron 학습 백엔드 필요

2026년 11월 6일 NVIDIA 엔지니어들은 Reshard 집합 통신에 관한 기술 글을 공개했습니다. 강화학습(RL) 후학습의 한 단계, 즉 새 모델 가중치를 학습용 GPU에서 추론용 GPU로 복사하는 단계를 빠르게 하려는 통신 호출입니다. 저자들은 이 단계를 refit이라 부릅니다. 글은 또한 NVIDIA/nccl-extensions 저장소의 오픈소스 참조 구현인 NCCL M2N Reshard와 NeMo RL 프레임워크에서의 적용 경로도 소개합니다. 모든 소요 시간은 NVIDIA 자신의 수치이며 자사 시스템에서 측정했습니다.

문제는 크기입니다. 학습과 추론을 나눈 RL 구성에서는 학습과 추론이 서로 다른 GPU에서 돌고, 추론 쪽은 갱신된 정책을 자주 받아야 합니다. 두 쪽은 데이터, 텐서, 전문가, 파이프라인 병렬화가 달라서 모델을 다르게 나눕니다. 일반적인 방법은 모아서 방송하는 방식으로, 학습 GPU가 각 매개변수 전체를 모아 방송하고 각 추론 GPU는 필요한 조각만 남깁니다. NVIDIA는 이렇게 하면 모델 가중치 크기의 약 두 배가 움직인다고 추정합니다. BF16 가중치 기준으로 Kimi K3(2.8조 매개변수)는 5.6 TB, Qwen 3.8 2.4T A95B는 4.8 TB이고 논리적 트래픽은 각각 약 11.2 TB와 9.6 TB이며, 글은 이것이 학습의 매 단계마다 일어나야 한다고 말합니다.

아이디어는 두 배치를 PyTorch의 DTensor(장치 메시와 배치 방식)로 기술하고, refit을 한 DTensor를 다른 DTensor로 다시 나누는 문제로 보는 것입니다. 그러면 Reshard는 원본 조각과 대상 조각이 겹치는 부분만 보냅니다. NCCL M2N Reshard는 대상 복제본을 NVLink 도메인별로 묶기도 합니다. 그림의 대상 GPU 네 대가 한 NVLink 도메인에 있는 예에서만 각 조각이 네트워크를 한 번 건너고 수신 GPU가 나머지를 NVLink로 교환합니다. 여러 도메인에 걸치면 도메인마다 사본을 전달하며, 두 단계는 파이프라인으로 진행됩니다. NeMo RL에서 NVIDIA는 혼합 설계를 씁니다. 최근 모델에서 매개변수의 약 95%를 차지한다는 피드포워드 투영 가중치는 reshard 경로를 타고, QKV 투영이나 Mamba 가중치 같은 작은 가중치는 범위를 온전히 유지하기 위해 모아서 방송하는 방식을 그대로 씁니다.

보고된 결과는 NeMo RL에서 측정한 네 가지 refit 지연입니다. NVIDIA DGX H100에서 Qwen 3 235B는 6.4초에서 1.9초로, DeepSeek v3 671B는 14.9초에서 2.6초로 줄어듭니다. NVIDIA DGX GB200에서 DeepSeek v3 671B는 6.1초에서 2.3초로, Nemotron Ultra v3는 8.2초에서 2.3초로 줄어듭니다. 글은 2.7배에서 5.7배의 속도 향상을 말하고, 표의 수치도 이 범위와 맞습니다. 별도의 refit 전용 마이크로벤치마크에서는 Qwen3.8 2.4T BF16 모델을 4.3초에 옮겼지만, 그 모델의 모아서 방송하는 방식의 시간은 제시되지 않아 비율은 없습니다. 원본 표의 학습→추론 배치는 H100 NVL8 Qwen 3 235B TP4×PP8×EP16→TP8×DP16(6.4→1.9초), H100 NVL8 DeepSeek v3 PP16×EP16→TP32×DP8(14.9→2.6초), 같은 배치의 GB200 NVL72 DeepSeek v3(6.1→2.3초), GB200 NVL72 Nemotron Ultra v3 TP8×EP32×PP2→TP8×DP8(8.2→2.3초)입니다.

숫자는 무엇을 재는지에 맞춰 읽어야 합니다. 이는 refit 지연이지 학습 처리량이나 목표 보상에 이르는 시간이 아니며, RL 각 단계에서 refit이 차지하는 비중도 말하지 않으므로 2.7배에서 5.7배를 종단 간 속도 향상으로 환산할 수 없습니다. 비교 대상은 NVIDIA 자신의 기존 경로이지, 다른 프레임워크의 다른 refit 방법이 아닙니다. NVIDIA 시스템 두 종류에서의 네 가지 구성은 작은 집합이고, 실행 간 편차도 제시되지 않았으며, 저희는 어느 것도 재현하지 않았습니다.

NeMo RL 문서는 제한을 보충합니다. `nccl_reshard_refit`을 실험적 기능으로 표시합니다. 설정은 `refit_transport: nccl_reshard`이고, 비동거(non-colocated) 구성에서만 동작하므로 `policy.generation.colocated.enabled`를 false로 둡니다. Megatron 학습 백엔드와 vLLM 또는 Megatron 생성 백엔드가 필요하며, SGLang과 TRTLLM은 아직 지원하지 않는다고 합니다. vLLM이 대상이면 전문가 텐서 병렬 크기가 여전히 1이어야 합니다. 글은 장애 복구 중 노드가 들어오거나 나갈 때 NeMo RL이 현재는 통신 그룹을 없애고 다시 만들며, NCCL의 shrink와 grow API를 쓰는 것은 이후 업데이트로 계획되어 있다고 덧붙입니다.

저희의 판단은, 실제 숫자를 갖춘 믿을 만한 엔지니어링 아이디어이며, refit 비용이 모델 크기와 함께 커지므로 이 추상화가 유용하다는 것입니다. Megatron과 vLLM으로 학습·생성 리소스가 비동거로 설정된 구성에서 매우 큰 전문가 혼합 모델을 학습하는 팀은 실험적 플래그부터 시험해 볼 수 있습니다. 다른 팀은 더 넓은 백엔드 지원을 기다리고, 자신의 단계 시간에서 refit이 차지하는 비율을 측정하며, 표제의 속도 향상은 보장이 아니라 최선의 경우에 대한 힌트로 다루어야 합니다.