NVIDIA Vera Rubin NVL72 führt MLPerf Inference v6.1 an

Hintergrund

NVIDIAs Vera Rubin NVL72 System debütierte in MLPerf Inference v6.1 und beanspruchte sofort die Spitzenposition in mehreren Rechenzentrums-Inferenz-Workloads. MLPerf ist der strengste Branchenbenchmark für KI-Hardware und -Software und misst Durchsatz und Latenz unter realen Einsatzbedingungen. Das NVL72 lieferte bei großen Sprachmodellen wie GPT-J über zehntausende Tokens pro Sekunde und übertraf damit frühere Rekorde bei gleichzeitig hoher Energieeffizienz. Dieses Ergebnis wurde nicht durch rohe Einzelchip-Rechenleistung erzielt, sondern durch die enge Integration von 72 GPUs über Hochgeschwindigkeitsverbindungen und eine vollständige Softwareoptimierung – ein entscheidender Schritt im Design hyperskalierbarer Inferenzsysteme.

Die Einreichung unterstreicht einen grundlegenden Wandel: Systemattribute wie Verbindungsbandbreite, Speicher-Pooling und Softwarereife sind nun die entscheidenden Leistungsfaktoren. Die nahezu lineare Skalierung, die mit zunehmender GPU-Anzahl beobachtet wurde, bestätigt NVIDIAs Wette, dass Rack-Scale-Designs proportionale Durchsatzgewinne ohne unkontrollierte Kosten liefern können. Dieses Debüt positioniert Vera Rubin als neue Referenz für die Inferenzökonomie, bei der jede Hardwareinvestition direkt in höhere Token-Generierung und Einnahmen umgesetzt wird.

Tiefenanalyse

Auf Siliziumebene führt die Vera Rubin Architektur einen neu gestalteten Streaming-Multiprozessor ein, der die Dichte der Niedrigpräzisionsberechnung erhöht und Hardwarebeschleunigung für die bei Transformer-Inferenz dominierenden Matrixmultiplikationen und Aufmerksamkeitsmechanismen bietet. Das Speichersubsystem verwendet HBM mit höherer Bandbreite und eine optimierte Cache-Hierarchie, um den Speicherwand-Engpass zu bekämpfen. Der wahre Differenzierungsfaktor ist jedoch das Rack-Scale-NVLink- und NVSwitch-Geflecht, das alle 72 GPUs zu einem einheitlichen Speicherpool verbindet. Dadurch kann modellparallele Inferenz vollständig innerhalb eines einzigen Systems ausgeführt werden, was den Kommunikationsaufwand für Tensor-Parallelität drastisch reduziert. Das Ergebnis ist eine nahezu lineare Durchsatzskalierung mit der GPU-Anzahl – ein Paradebeispiel für den Hebel der „effizienten Skalierung“ in der Inferenzökonomie.

Auf der Softwareseite wurde NVIDIAs TensorRT-Inferenzengine tiefgehend für Vera Rubin optimiert, mit aggressiver Graphoptimierung, Operator-Fusion und Speicherallokationsstrategien zur Minimierung von Datenbewegungen. Fortschrittliche Quantisierung reduzierte die Präzision ohne messbaren Genauigkeitsverlust und ermöglichte eine maximale Hardwareauslastung. Zusammen liefern das neue Compute-Silizium, das bandbreitenstarke einheitliche Speichergeflecht und der optimierte Softwarestack die Systemleistung, die MLPerf anführte. Diese synergetische Triade führt zu den beobachteten zehntausenden Tokens pro Sekunde und setzt einen neuen Maßstab für den Inferenzdurchsatz.

Branchenwirkung

Für Cloud-Anbieter senken der hohe Durchsatz und die nahezu lineare Skalierung des NVL72 direkt die Kosten pro Token. In einem Markt, in dem generative KI-Dienste in Preiskämpfe verwickelt sind, ist dieser Kostenvorteil entscheidend. Hyperscaler wie Amazon Web Services, Microsoft Azure und Google Cloud werden wahrscheinlich die Bereitstellung von Vera Rubin Instanzen beschleunigen, um Entwickler anzuziehen und aggressive Preise anzubieten. Ein einzelnes NVL72-System kann Inferenzvolumina bewältigen, die zuvor mehrere diskrete Knoten erforderten, was sowohl Investitions- als auch Betriebsausgaben reduziert und es Anbietern ermöglicht, Einsparungen an Kunden weiterzugeben.

Für Unternehmen senken niedrigere Inferenzkosten die Hürde für den Produktionseinsatz von Anwendungen wie Echtzeit-Kundensupport, Codegenerierung und Inhaltserstellung. Die Leistung des NVL72 bedeutet mehr gleichzeitige Nutzer ohne proportionale Infrastrukturausgaben. Im Wettbewerb schließt AMDs Instinct MI300X die Lücke bei Einzelchip-Spezifikationen, hinkt aber bei Systemskalierung und Softwarereife hinterher. Intels Gaudi 3 zielt auf kostensensible Einsätze, kann aber nicht mit der absoluten Leistung mithalten. Kundenspezifische ASICs wie Googles TPU und Amazons Trainium/Inferentia glänzen in bestimmten Workloads, aber es fehlt ihnen die Breite des CUDA-Ökosystems. Die MLPerf-Vorstellung des Vera Rubin NVL72 festigt NVIDIAs Dominanz und erhöht die Messlatte für Wettbewerber.

Ausblick

Das Debüt des Vera Rubin NVL72 ist ein Meilenstein auf NVIDIAs Inferenz-Roadmap. Die kommende Blackwell Ultra Architektur wird voraussichtlich die Systemskalierung weiter vorantreiben, möglicherweise mit Unterstützung für größere GPU-Cluster oder fortschrittliche Topologien. Eine kostenoptimierte Vera Rubin Variante für breitere Märkte könnte erscheinen, und TensorRT-Erweiterungen werden wahrscheinlich Mixture-of-Experts (MoE)-Modelle mit ihren besonderen Scheduling- und Speicherherausforderungen besser unterstützen.

AMDs nächste Generation MI400 und Intels Falcon Shores müssen echte Systemgewinne demonstrieren, nicht nur Spezifikationen auf dem Papier, um herauszufordern. Kundenspezifische Chips sehen sich der Trägheit des CUDA-Ökosystems gegenüber. Da die Inferenzkosten weiter sinken, wird die Nachfrage nach KI-Anwendungen steigen und den Infrastrukturbedarf in einem positiven Kreislauf antreiben. MLPerf-Ergebnisse sind zum Barometer dieser Rechenökonomie geworden, und mit Vera Rubin NVL72 hat NVIDIA eine Hochdruckfront gesetzt, die Investitions- und Designentscheidungen für Jahre prägen wird.