NVIDIA, DGX Spark의 GSM8K 생성 처리량 42.5% 증가 보고

NVIDIA는 10월 27일 DGX Spark 한 대에서 Ling-3.0-flash 추론을 빠르게 하는 세 방법을 시험했다고 발표했다. 배치 크기는 하나이고 모델은 총 1,240억 매개변수 중 텍스트 단위마다 51억 개를 활성화하는 전문가 혼합 구조다. 분석에서는 전문가 연산과 출력층의 가중치를 읽는 비용이 생성 속도를 제한했다. 원문에는 실제 성능 시험이 있다. 다만 이는 한 모델과 기기에 관한 공급자 측정이지 독립 실험이나 보편적인 속도 보장이 아니다.

첫째, 기준 설정의 FlashInfer MXFP4 전문가 실행 부분을 Humming 커널로 바꿨다. 입력 3만 2천, 출력 2천 텍스트 단위의 합성 시험에서 단위당 시간은 27.71에서 25.35밀리초로 줄고 처리량은 초당 36.09에서 39.45로 늘어 9.3% 높았다. 둘째, 출력 헤드만 온라인 FP8로 양자화해 그 층의 가중치 읽기량을 반으로 줄였다. Humming과 합친 합성 처리량은 초당 43.94단위로 원래 기준보다 21.7% 높았다.

셋째, 모델의 NEXTN 층으로 여러 단위를 먼저 제안하고 함께 검증했다. 합성 시험에서 한 차례에 평균 3.90단위가 받아들여졌고 세 방법을 합치면 초당 102.88단위, 기준 대비 185.1% 증가했다. 하지만 초안 모델과 본 모델이 FP8 출력 헤드의 모듈 전체를 공유해야 한다. 가중치만 공유하면 해석이 어긋나 수용 길이가 1.00으로 떨어지고 최적화 전보다 느려질 수 있다고 한다. 설정을 켰다는 사실만으로 실제 경로가 제대로 동작한다는 증거는 아니다.

전체 GSM8K 문제 1,319개에서는 처리량이 초당 37.81에서 53.89단위로 늘어 증가율이 42.5%였다. 평균 지연은 15.21초에서 11.49초로 24.5% 줄었다. 정확도는 96.89%에서 96.82%로 측정됐고 NVIDIA는 통계적으로 확인되는 차이가 없다고 했다. 첫 출력까지 평균 시간은 0.207초에서 0.214초로 개선되지 않았다. 합성 시험의 반복적인 출력은 초안 수용을 쉽게 만들어 GSM8K의 평균 수용 길이 2.68과 다른 결과를 낸다.

따라서 합성 시험의 185.1%를 실제 문제 시험의 42.5% 대신 쓰거나 모든 전문가 혼합 모델이 세 배 빨라진다고 주장해서는 안 된다. 팀은 자기 모델과 요청 분포에서 기준 설정, 처리량, 전체 지연, 첫 출력과 답의 품질을 다시 측정해야 한다. 세 방법은 비용을 줄이는 위치가 서로 다르지만 정확한 통합과 시험 조건이 성과의 전제다.

합성 시험과 GSM8K 시험 사이에는 출력의 반복 정도만 다른 것이 아니다. 합성 시험은 2천 단위의 고정된 출력을 쓰지만 GSM8K 답변의 중간값은 약 310단위로 더 짧다. 샘플링 방식도 서로 다르다. 그 결과 미리 제안한 단위를 받아들이는 평균 길이는 3.90에서 2.68로 줄었다. 긴 반복 출력에서 얻은 가속 비율을 실제 질문의 평균 지연에 그대로 대입하면 사용자가 경험할 값을 지나치게 좋게 예상할 수 있다. NVIDIA가 두 시험을 따로 제시한 이유도 이 차이를 설명하기 위해서다.

출력 헤드 FP8 양자화는 모델 전체를 같은 방식으로 바꾼다는 뜻이 아니다. 원문은 그 층만 다루고 나머지 모델은 기존 설정으로 불러온다고 설명한다. 또 기본 설정에서 쓰는 FP32 출력 헤드 옵션과 새 경로가 함께 적용되지 않는다는 점도 기록해야 한다. Humming은 특정한 전문가 계산 형상에 맞춘 커널이며, NEXTN은 여러 단위의 초안을 검증하는 단계 수를 줄인다. 세 개의 기능은 서로 다른 비용을 겨냥하지만 모듈을 잘못 공유하면 결합 결과가 오히려 느려진다.

GSM8K의 정확도는 기준 96.89%와 최적화 96.82%로 보고됐다. NVIDIA가 통계적으로 확인할 수 있는 변화가 없다고 했다는 말은 두 값이 수학적으로 동일하다는 뜻도, 다른 과제에서 품질 변화가 절대 없다는 뜻도 아니다. 첫 단위까지의 시간도 0.207초에서 0.214초로 변해 개선 근거가 없다. 운영팀은 초당 처리량만 보는 대신 긴 요청, 짧은 요청, 다른 온도와 답 길이에 따라 오류와 지연을 따로 살펴야 한다. 이번 결과는 한 기기에서의 공급자 측정으로 명시해야 한다.