d-Matrix setzt auf NVIDIA NVLink Fusion für rackweite XPU-Bereitstellungen

Das Problem der Speicherwand bei modernen KI-Inferenzsystemen

Mit dem rasanten Vormarsch generativer KI-Modelle und der Notwendigkeit, extrem lange Kontexte von Hunderttausenden oder gar Millionen Tokens in Echtzeit zu verarbeiten, stoßen moderne Rechenzentren an harte physikalische Grenzen. Herkömmliche GPU-Architekturen, die auf der klassischen Von-Neumann-Trennung zwischen Rechenwerk und Arbeitsspeicher basieren, leiden unter der sogenannten Speicherwand. Bei der Ausführung von Aufmerksamkeitsmechanismen (Self-Attention) wächst der Zwischenspeicher für Schlüssel- und Wertetensoren (KV-Cache) massiv an. Ein Großteil der elektrischen Energie und Verarbeitungszeit moderner Beschleuniger wird nicht für mathematische Operationen aufgewendet, sondern für das ständige Hin- und Hertransportieren von Daten zwischen High-Bandwidth-Memory (HBM) und Rechenkernen.

Um diesen fundamentalen Engpass aufzuheben, hat das US-amerikanische Halbleiter-Startup d-Matrix die Hardwareplattform Corsair entwickelt, welche auf digitalem In-Memory-Computing (DIMC) basiert. Anstatt Daten über verlustbehaftete Schnittstellen zu bewegen, führt Corsair Matrixmultiplikationen direkt innerhalb kompakter SRAM-Speicherstrukturen aus. Diese Architektur senkt die Latenz bis zur ersten Token-Generierung drastisch und erreicht auf Chipebene außergewöhnliche Energieeffizienzwerte, da das energieintensive externe Speicherinterface umgangen wird.

Dennoch stoßen einzelne Halbleiter bei Modellen mit Hunderten Milliarden Parametern an ihre physikalischen Kapazitätsgrenzen. Für produktive Workloads und umfangreiche Mixture-of-Experts-Netzwerke wird daher eine kohärente Vernetzung auf Rack-Ebene benötigt, welche die Vorteile des In-Memory-Ansatzes über Dutzende Prozessoren hinweg skalierbar macht.

NVLink Fusion: Optische Verbindungstechnologie für rackweite XPU-Cluster

Vor diesem Hintergrund hat d-Matrix den Einsatz von NVIDIAs NVLink-Fusion-Technologie für seine Corsair-Hardwareplattform bekannt gegeben. Diese Kooperation verknüpft neuartige In-Memory-Rechenbeschleuniger mit der führenden optischen Netzwerkarchitektur für KI-Rechenzentren.

NVLink Fusion überwindet die physikalischen Dämpfungs- und Latenzprobleme herkömmlicher Kupferkabel durch den Einsatz von Co-Packaged Optics (CPO) und Silizium-Photonik. Das System stellt eine extrem breitbandige Verbindung mit Latenzzeiten im Mikrosekundenbereich bereit, die sich über das gesamte Server-Rack erstreckt. Durch die direkte Integration von NVLink-Fusion-Steuereinheiten auf den Corsair-Baugruppen entsteht ein einheitlicher, kohärenter Speicheradressraum, in dem Hunderte Recheneinheiten verzögerungsfrei auf verteilte SRAM-Kapazitäten zugreifen können.

Dank dieser optischen Vernetzung lässt sich der umfangreiche KV-Cache langer Sequenzen ohne spürbare Leistungseinbußen aufteilen und synchronisieren. Die aufwendige Paketverarbeitung traditioneller Ethernet- oder InfiniBand-Netzwerke entfällt im inneren Rack-Verbund vollständig.

Vierfache Energieeffizienz und die Transformation von Rechenzentren

Erste vergleichende Leistungsmessungen von d-Matrix und NVIDIA belegen, dass Corsair-Cluster mit NVLink Fusion bei langen Sequenzen eine vierfache Energieeffizienz im Vergleich zu Standard-GPU-Clustern erzielen. Das Verhältnis von erzeugten Tokens pro Watt elektrischer Leistung verbessert sich gravierend, ohne dass Abstriche bei der Antwortzeit in Kauf genommen werden müssen.

Dieser Technologiesprung ebnet den Weg für sogenannte disaggregierte Rechenzentrumsarchitekturen. Betreiber sind nicht mehr gezwungen, ausschließlich homogene, thermisch schwer beherrschbare Allzweck-GPU-Knoten aufzustellen. Stattdessen können spezialisierte In-Memory-Beschleuniger für die Inferenz nahtlos über ein optisches Standardnetzwerk in bestehende NVIDIA-Infrastrukturen eingebunden werden. Die Partnerschaft von d-Matrix und NVIDIA markiert damit einen entscheidenden Schritt hin zu nachhaltigen und skalierbaren KI-Inferenzlösungen für die nächste Dekade.