NVIDIA, DGX Spark의 TensorRT Edge-LLM 절차와 자사 DSpark 디코딩 속도 측정치 공개

NVIDIA는 2026년 10월 30일 64 GB DGX Spark에서 TensorRT Edge-LLM으로 엣지 애플리케이션을 로컬 시험 개발하는 방법을 공개했다. 여기서 Edge는 주변 장치용 응용을 뜻하며 ‘최첨단 모델’이라는 평가가 아니다. 예제는 텍스트 전용 Nemotron-3.5 Lightning 30B-A3B NVFP4를 쓴다. trtedge 명령으로 모델을 내려받아 TensorRT 엔진을 만들고, 터미널에서 대화한 뒤 로컬 API를 띄운다. 글에는 NVIDIA가 직접 측정한 성능표가 있지만 이 매체의 독립 실험은 아니다. 별도로 언급한 영상·음성·로봇 모델에 같은 숫자를 적용할 수도 없다.

필요 조건은 지원되는 소프트웨어의 DGX Spark, CUDA 13, 10.x 계열에서 10.16.1.11 이상인 TensorRT, Python 3.10~3.12다. NVIDIA는 TensorRT Edge-LLM 0.11.1과 TensorRT 10.16.1.11로 절차를 시험했다고 밝혔다. 예제는 시스템 패키지도 볼 수 있는 가상 환경을 만들고 고정 버전의 server 추가 기능을 설치한 뒤 TensorRT 버전을 확인하고 runtime을 불러온다. Python 바인딩 버전이 맞지 않으면 시작되지 않을 수 있어 TensorRT 설치 문서도 안내한다. 본 매체가 이 명령을 실행해 결과를 확인한 것은 아니다.

처음 trtedge chat을 실행하면 선택한 모델을 내려받고 엔진을 만든다. NVIDIA는 최초 모델 다운로드가 약 21 GB이며 모델과 엔진이 기본적으로 사용자 캐시에 저장돼 조건이 같은 다음 실행에서 재사용된다고 한다. 예제는 섭씨 25도를 화씨로 바꿔 77°F라는 응답을 보여 준다. 이는 기능 시연이지 여러 과제에서의 정확도 평가가 아니다. 채팅을 종료한 뒤 trtedge serve로 127.0.0.1의 8000 포트에 OpenAI 호환 채팅 API를 띄운다. 준비 상태 응답이 ready인지 확인한 다음 스트리밍 요청을 보낸다. 루프백 주소이므로 운영자가 네트워크 설정을 바꾸지 않는 한 예제 서버는 로컬에만 열린다.

선택 단계에서는 서버를 다시 시작하고 DSpark 추측 디코딩을 켠다. 초안 모델이 토큰 후보를 제안하면 주 모델이 한 번에 검증하며 예제는 후보 토큰 세 개를 설정한다. 이는 텍스트 생성 속도 개선 기법이지 전력 생산이나 주 모델 교체가 아니다. 작업량에 따라 후보 개수를 조절할 수 있다. 모든 모델과 모든 엣지 장치가 이 설정을 지원한다는 말은 없으므로 Spark 예제를 다른 장비에 옮기기 전에 지원 모델 목록과 플랫폼 조건을 살펴야 한다.

NVIDIA의 DGX Spark 64 GB 표에는 첫 토큰까지의 시간 중앙값과 평균 생성 속도가 함께 있다. SpeedBench 1K는 DSpark를 끄면 201.0 ms와 73.3 토큰/초, 켜면 203.0 ms와 108.5 토큰/초다. SpeedBench 2K는 329.5 ms와 72.8 토큰/초에서 331.6 ms와 105.3 토큰/초로 바뀐다. HumanEval 프롬프트는 98.1 ms와 73.4 토큰/초, 켰을 때 98.7 ms와 126.9 토큰/초다. 생성 속도에는 첫 토큰 대기 시간이 포함되지 않는다. 따라서 이 표의 디코딩 속도 상승이 첫 응답 시간 단축을 뜻하지는 않는다.

수치를 비교할 때 첫 토큰 시간과 이후 디코딩을 분리해야 한다. 업체의 세 작업에서 DSpark를 켜면 이후 생성 속도는 각각 108.5, 105.3, 126.9토큰/초로 높아졌지만 첫 토큰 시간 중앙값은 203.0, 331.6, 98.7 ms로 끈 경우보다 조금 더 길었다. 입력 길이 평균도 1153, 2247, 139토큰으로 서로 달라 같은 작업이라고 볼 수 없다. 전체 시스템 메모리 최고값 27.9 GB는 운영체제까지 포함한 DSpark 사용 조건의 값이지 모델 파일 크기나 모든 장치에 필요한 보편적인 메모리 수치가 아니다. 초안 모델이 토큰을 제안하고 주 모델이 이를 검증하는 방식은 텍스트 생성의 최적화이며 답변 품질이나 모든 동시 요청의 지연을 저절로 개선한다고 보장하지 않는다. 애플리케이션 개발자는 자기 모델과 실제 입력, 출력 길이, 동시성에서 별도 확인해야 한다.

측정 조건은 Ubuntu 24.04.4 기반 DGX OS 7.6.0, NVFP4, thinking 사용, 배치 크기 한 개, 동시 스트리밍 요청 한 건, 출력 최대 128토큰이다. 세 작업의 평균 입력 길이는 각각 1153, 2247, 139토큰이었다. NVIDIA는 DSpark를 켰을 때 운영체제를 포함한 전체 시스템 메모리 최고 사용량을 27.9 GB라고 보고했다. 다른 모델·동시성·출력 길이·엣지 하드웨어에서는 결과가 달라질 수 있다. 이 수치는 NVIDIA 자체 표에서 왔다. 실용적인 내용은 로컬 대화에서 로컬 API로 이어지는 절차와 제한 조건이 적힌 업체 측정치다.