NVIDIA 教程在 DGX Spark 运行 TensorRT Edge-LLM，厂商表格报告 DSpark 解码速率

NVIDIA 于 2026 年 10 月 30 日发布技术教程，介绍如何在 64 GB DGX Spark 上使用 TensorRT Edge-LLM 做本地原型开发。“Edge”在这里是边缘设备应用，不是“前沿模型”的形容词。示例采用纯文本的 Nemotron-3.5 Lightning 30B-A3B NVFP4，并用 trtedge 命令下载模型、构建 TensorRT 引擎、在终端聊天、启动本地 API。文章提供厂商自己测得的性能表；本站未独立复测，也不能把示例的结果扩展到文中顺带提及的视觉、语音或机器人模型。

前置条件是具备受支持软件栈的 DGX Spark、CUDA 13、10.x 系列且至少 10.16.1.11 的 TensorRT，以及 Python 3.10 至 3.12。NVIDIA 声称用 TensorRT Edge-LLM 0.11.1 和 TensorRT 10.16.1.11 验证了教程步骤。教程创建可访问系统包的虚拟环境，安装固定版本的 server 扩展，再检查 TensorRT 版本并加载 Runtime。绑定版本不兼容会妨碍启动，所以文章给出 TensorRT 安装文档作为处理路径。本站没有执行这些命令，不能据此声称本地实例已经可用。

首次运行 trtedge chat 时会下载选定模型并构建引擎。NVIDIA 估计模型下载约 21 GB；文件和引擎默认存于用户缓存目录，配置匹配时后续运行可复用。演示询问 25°C 对应多少华氏度，示例回答 77°F。这是功能示范，不是跨任务准确率评估。退出聊天后可用 trtedge serve，在 127.0.0.1 的 8000 端口开放 OpenAI 兼容的聊天补全接口。教程先检查健康接口返回 ready，再发送流式请求。回环地址使其默认仅在本机可达，网络暴露范围取决于操作者是否另改配置。

可选步骤是重启服务并启用 DSpark 推测解码。草稿模型先提出候选 token，主模型一次验证多个；示例设置三个推测 token。这是提高文本生成速率的机制，不会替换主模型。支持的模型和目标边缘平台各有要求，不能凭 Spark 上这组命令推断所有设备或所有模型可直接运行。开发者还需按文档核对支持列表、硬件容量和平台限制。

NVIDIA 的 DGX Spark 64 GB 表格同时报告首 token 时间中位数与平均生成速率。SpeedBench 1K 在关闭 DSpark 时是 201.0 毫秒、73.3 token/秒，开启后是 203.0 毫秒、108.5 token/秒；SpeedBench 2K 是 329.5 毫秒、72.8 token/秒，对比 331.6 毫秒、105.3 token/秒；HumanEval 提示词是 98.1 毫秒、73.4 token/秒，对比 98.7 毫秒、126.9 token/秒。生成速率不含首 token 时间，所以表中解码较快，不等于首 token 也更快。

教程的每一步有不同的验证点。安装后先检查 Python 绑定报告的 TensorRT 版本落在 10.16.1.11 以上、11 以下，并确认 Edge-LLM Runtime 可以加载；这与模型已经生成正确答案不是一回事。首次 trtedge chat 需要为约 21 GB 的模型文件和引擎同时留出空间，后续只在配置匹配时才复用缓存。启动 serve 后先访问健康接口，看到 ready 才发送聊天补全请求。文章把服务器绑定在 127.0.0.1，而不是建议读者无鉴权地暴露到公网。

推测解码的实验需要先停掉普通服务，再带着 DSpark 草稿模型配置重启，不能把设置写进正在运行的进程就假定生效。草稿模型提出候选 token，主模型验证，因此可以改变逐 token 生成速率，但也会带来额外计算和内存需求。文章列出的 27.9 GB 是开启 DSpark 后、含操作系统的整机峰值，不是主模型权重大小。若设备内存、模型或并发不同，应重新量测容量与延迟，而不能把这个数当通用需求。

表格还显示三种输入长度差异很大：SpeedBench 1K 的平均输入为 1153 token，SpeedBench 2K 为 2247，HumanEval 为 139。这解释了为何不能只比两行 token/秒速率就断言整个交互更快。三组开启 DSpark 后首 token 中位数分别为 203.0、331.6、98.7 毫秒，均略高于关闭时的 201.0、329.5、98.1 毫秒。厂商宣称的收益主要体现在后续生成速率，不是所有时延指标同步改善。

这张表对开发者的实际决策有两个提示。首先，吞吐数字是单个请求的平均解码速度，并非多用户同时访问时的服务总吞吐；批量大小一、单并发的测试并未覆盖排队问题。其次，厂商按 NVFP4 量化、thinking 模式和 128 token 输出上限测试，换用更长答案时，首 token 与后续生成在总时长中的权重会变化。因此在自己的应用里仍须测首响应、完成时间、显存与质量，不能仅挑最高的 126.9 token/秒作为上线依据。

测试条件限定为 DGX OS 7.6.0、Ubuntu 24.04.4、NVFP4、启用 thinking、批量大小一、单个并发流式请求及最多 128 个输出 token。三组平均输入长度依次为 1153、2247、139 token。NVIDIA 称开启 DSpark 时整机内存峰值为 27.9 GB，含操作系统。不同模型、并发、输出长度或边缘硬件的表现可能不同。这篇教程提供从本地聊天到本地 API 的复现路径及可选解码实验，而性能数字仅属于厂商列出的工作负载。