d-Matrix、NVIDIA NVLink Fusionを採用しラック規模XPUを展開

生成AI時代に立ちはだかる「メモリの壁」とインメモリ計算の台頭

生成AIモデルのパラメータ数が巨大化し、数十万から数百万トークンに及ぶ超長文脈（Long-Context）推論の需要が急増する中、最新データセンターは深刻な物理的限界に直面しています。従来のGPUアーキテクチャでは、自己注意機構（Self-Attention）に伴うキー・バリュー（KV）キャッシュの増大により、プロセッサが外部の広帯域メモリ（HBM）との間で膨大なテンソルデータを往復移動させる処理に、全消費電力と実行時間の大部分を奪われてしまいます。この古典的なフォン・ノイマン型ボトルネックは、大規模言語モデルの推論効率を劇的に低下させ、運用コストと発熱を指数関数的に押し上げる主因となっていました。

このメモリの壁を打破すべく、AI推論チップの先駆的スタートアップであるd-Matrixは、独自開発のデジタルインメモリコンピューティング（DIMC）アーキテクチャを採用した「Corsair」プラットフォームを展開しています。Corsairは、高密度SRAMの内部に直接行列乗算回路を集積することで、データの移動を伴わずに超高速演算を完結させます。これにより、従来の外部DRAMアクセスに伴う遅延と電力消費を劇的に削減し、圧倒的な初回トークン生成時間（TTFT）と電力効率を実現しました。

しかし、数千億から兆規模のMoE（Mixture of Experts）モデルを実運用環境で安定稼働させるには、単一チップのSRAM容量だけでは到底対応できません。複数のチップ間で低遅延かつ広帯域な協調動作を可能にする、ラック規模（Rack-Scale）の相互接続技術が不可欠でした。

NVIDIA NVLink Fusionの採用：光インターコネクトによるラック規模拡張

この課題に対し、d-MatrixはNVIDIAとの戦略的協業を発表し、Corsairプラットフォームに「NVIDIA NVLink Fusion」光相互接続技術を全面採用することを明らかにしました。この統合は、革新的な非フォン・ノイマン型チップと、世界標準の高速ファブリック技術が融合した重要なマイルストーンです。

NVLink Fusionは、従来の銅線ケーブルによる伝送距離と電気損失の限界を克服するために開発された、次世代の光インターコネクト技術です。コ・パッケージド・オプティクス（CPO）とシリコンフォトニクスを活用し、マイクロ秒単位の極低遅延とテラバイト級の広帯域伝送をラック全体で実現します。Corsair XPUにNVLink Fusionコントローラを直結することで、ラック内に配置された数百基のチップがあたかも単一の超巨大なメモリ空間を共有しているかのように振る舞います。

これにより、長文脈推論時に膨大化するKVキャッシュをラック全体に分散配置し、ネットワークの通信遅延に阻害されることなくリアルタイムで処理できるようになります。

4倍の電力効率向上と次世代AIデータセンターの変革

d-MatrixとNVIDIAが公開した実証データによると、NVLink Fusionで相互接続されたCorsairラック規模クラスタは、従来のGPUクラスタと比較して、長文脈生成AI推論において最大4倍の電力効率（ワットあたりの生成トークン数）を達成しました。推論レイテンシを大幅に引き下げつつ、データセンター全体の消費電力増大を抑制できる点が最大の強みです。

この技術革新は、近年のデータセンター設計思想を大きく変えつつあります。単一の巨大GPUに過度な電力を集中させるのではなく、推論に特化したインメモリ計算チップを光ファブリックで有機的に結合する「ディスアグリゲーテッド・コンピューティング（機能分散型計算）」が現実の解として確立されました。持続可能なAIインフラを構築する上で、d-MatrixとNVIDIAの協業は極めて重要な指針を示しています。