NVIDIA、DGX SparkでのTensorRT Edge-LLM手順を公開、DSparkのデコード速度を自社測定で報告

NVIDIAは2026年10月30日、64 GB版DGX SparkでTensorRT Edge-LLMを使い、エッジ向けアプリをローカルで試作する手順を公開した。ここでのEdgeはエッジ機器を指し、最先端という意味の形容詞ではない。例はテキスト専用のNemotron-3.5 Lightning 30B-A3B NVFP4を使う。trtedgeコマンドでモデルを取得し、TensorRTエンジンを構築し、端末で対話し、ローカルAPIを提供する。記事にはNVIDIA自身の性能測定表があるが、当媒体が独立に再測定した結果ではない。別途紹介される視覚・音声・ロボットのモデルにも同じ数値が当てはまるわけではない。

前提は対応するソフトウェア構成のDGX Spark、CUDA 13、10.x系で10.16.1.11以上のTensorRT、Python 3.10から3.12である。NVIDIAはTensorRT Edge-LLM 0.11.1とTensorRT 10.16.1.11で手順を試したと記す。システムパッケージも参照できる仮想環境を作り、バージョンを固定したserver追加機能を入れ、TensorRTの版を確かめてruntimeをロードする。Pythonバインディングの互換性が足りなければ起動できないため、記事はTensorRTのインストール案内も示す。当媒体はこれらのコマンドを実行していない。

最初のtrtedge chat実行時にはモデルのダウンロードとエンジン構築が行われる。NVIDIAはモデル取得量を約21 GBとし、モデルとエンジンは標準で利用者のキャッシュに置かれ、条件が一致する次回の実行では再利用されると説明する。摂氏25度を華氏に換算する例では77°Fという応答を示すが、これは機能例であって多様な課題の精度評価ではない。対話を終えた後、trtedge serveで127.0.0.1の8000番にOpenAI互換のチャット補完APIを開く。ヘルス確認でreadyを見てからストリーミング要求を送る。ループバックアドレスなので、設定を変えない限り同じマシンの外から届かない。

任意の手順として、サービスを再起動してDSparkの推測デコードを有効にできる。ドラフトモデルが候補トークンを提案し、主モデルがまとめて検証する。例では三つの推測トークンを設定する。これは文章の生成速度を改善する仕組みであり、電力の発電や主モデルの置き換えを意味しない。対応モデルと対象のエッジ機器にはそれぞれ要件がある。Sparkで動いたコマンドがすべての埋め込み機器で使えるとは推定できず、対応一覧と機器固有の条件を確認する必要がある。

NVIDIAのDGX Spark 64 GBの表は、最初のトークンまでの時間の中央値と平均生成速度を併記する。SpeedBench 1KはDSparkなしで201.0ミリ秒、73.3トークン/秒、ありで203.0ミリ秒、108.5トークン/秒だった。SpeedBench 2Kは329.5ミリ秒、72.8トークン/秒に対して331.6ミリ秒、105.3トークン/秒。HumanEvalのプロンプトでは98.1ミリ秒、73.4トークン/秒に対して98.7ミリ秒、126.9トークン/秒である。生成速度は最初のトークンまでの時間を含まない。したがって表のデコード速度上昇を、初回応答時間の短縮と言い換えてはいけない。

測定はDGX OS 7.6.0、Ubuntu 24.04.4、NVFP4、thinking有効、バッチサイズ一、同時ストリーミング要求一件、出力上限128トークンで行われた。三つの入力の平均長はそれぞれ1153、2247、139トークンだった。NVIDIAはDSpark使用時のOS込みのシステムメモリ最大使用量を27.9 GBと報告する。モデル、同時実行数、出力長、エッジ機器が変われば結果も変わり得る。この記事の価値はローカル対話からAPIへ進む具体的な道筋と、条件が明示されたメーカーによる測定にある。