NVIDIA meldet 42,5 Prozent mehr GSM8K-Durchsatz auf DGX Spark
NVIDIA veröffentlichte am 27. Oktober Messungen zu drei Maßnahmen für die Inferenz von Ling-3.0-flash auf einem DGX Spark bei Batchgröße eins. Das Mixture-of-Experts-Modell hat insgesamt 124 Milliarden Parameter; pro Texteinheit werden 5,1 Milliarden aktiviert.
NVIDIA veröffentlichte am 27. Oktober Messungen zu drei Maßnahmen für die Inferenz von Ling-3.0-flash auf einem DGX Spark bei Batchgröße eins. Das Mixture-of-Experts-Modell hat insgesamt 124 Milliarden Parameter; pro Texteinheit werden 5,1 Milliarden aktiviert. Eine Profilanalyse identifizierte vor allem das Lesen der Gewichte als Grenze der Ausgabegeschwindigkeit, besonders bei den Experten und der letzten Projektion. Der Beitrag enthält echte Leistungsversuche. Gleichzeitig sind es Herstellermessungen für ein konkretes Modell und Gerät, keine von dieser Redaktion wiederholte Studie und keine Zusage für andere Dienste.
Zunächst wird der FlashInfer-MXFP4-Ausgangszustand durch spezialisierte Humming-Kernel für die Experten ersetzt. In einem künstlichen Versuch mit 32.000 Eingabe- und 2.000 Ausgabeeinheiten sinkt die Zeit je Ausgabeeinheit von 27,71 auf 25,35 Millisekunden. Der Durchsatz steigt laut NVIDIA von 36,09 auf 39,45 Einheiten pro Sekunde, ein Plus von 9,3 Prozent. Als zweiter Schritt wird nur der Ausgabekopf des Sprachmodells online zu FP8 quantisiert. Seine vorher in BF16 gelesenen Gewichte müssen bei jedem Schritt geladen werden; FP8 halbiert das Lesevolumen dieser Schicht. Zusammen mit Humming ergeben sich im künstlichen Versuch 43,94 Einheiten pro Sekunde oder 21,7 Prozent mehr als beim ursprünglichen Vergleich. Ohne diesen Vergleichspunkt wären die Prozentzahlen irreführend.
Der dritte Schritt verwendet die eingebaute NEXTN-Schicht für die Vorhersage mehrerer Texteinheiten. Vorschläge werden gemeinsam geprüft; akzeptierte Einheiten sparen einzelne serielle Schritte. Im künstlichen Test werden durchschnittlich 3,90 Einheiten pro Runde angenommen. Mit allen drei Maßnahmen misst NVIDIA 102,88 Einheiten pro Sekunde, 185,1 Prozent über der Grundlage. Eine wichtige technische Bedingung ist das Teilen des gesamten FP8-Ausgabekopfmoduls zwischen Entwurfs- und Hauptmodell. Wird nur der Gewichtstensor geteilt, kann die Laufzeit einen unpassenden Pfad einschlagen, die Annahmelänge fällt auf 1,00, und die Kombination wird sogar langsamer als der unveränderte Ausgangspunkt. Aktivierte Schalter sind allein kein Nachweis des tatsächlich verwendeten Pfades.
Für eine weniger repetitive Aufgabe prüfte NVIDIA alle 1.319 Fragen des GSM8K-Tests mit auf beiden Seiten gleichen Beispielen und Sampling-Einstellungen. Der Generierungsdurchsatz steigt dort von 37,81 auf 53,89 Einheiten pro Sekunde, also um 42,5 Prozent. Die mittlere Gesamtdauer sinkt von 15,21 auf 11,49 Sekunden, ein Minus von 24,5 Prozent. Die gemessene Genauigkeit verändert sich von 96,89 auf 96,82 Prozent; laut NVIDIA ist kein statistisch nachweisbarer Unterschied erkennbar. Die mittlere Zeit bis zur ersten Ausgabe verbessert sich nicht, sondern geht von 0,207 auf 0,214 Sekunden. Beim GSM8K-Test werden im Mittel nur 2,68 Vorschläge pro Runde akzeptiert, weniger als bei der künstlichen Last.
Die 185,1 Prozent aus dem künstlichen Versuch dürfen deshalb nicht an die Stelle der 42,5 Prozent beim Aufgabenvergleich treten. Eingabelänge, Ausgabelänge und Annahmeverhalten sind verschieden. Humming und FP8 senken die Kosten einzelner Schritte; NEXTN reduziert deren Anzahl. Die Kombination erfordert eine korrekte Integration. Wer sie einsetzt, sollte Modell, Hardware, Softwareversion und Ausgangszustand festhalten und auf den eigenen Anfragen Durchsatz, vollständige Latenz, erste Ausgabe und Qualität prüfen. Der Hersteller liefert dafür einen Ansatz und eine Anleitung, aber keinen universellen Beschleunigungsfaktor.
Sources
FAQ
Welches Modell und welches Gerät wurden getestet?
NVIDIA veröffentlichte am 27. Oktober Messungen zu drei Maßnahmen für die Inferenz von Ling-3.0-flash auf einem DGX Spark bei Batchgröße eins. Das Mixture-of-Experts-Modell hat insgesamt 124 Milliarden Parameter; pro Texteinheit werden 5,1 Milliarden aktiviert. Eine Profilanalyse identifizierte vor allem das Lesen der Gewichte als Grenze der Ausgabegeschwindigkeit, besonders bei den Experten und der letzten Projektion. Der Beitrag enthält echte Leistungsversuche. Gleichzeitig sind es Herstellermessungen für ein konkretes Modell und Gerät, keine von dieser Redaktion wiederholte Studie und keine Zusage für andere Dienste.
Was zeigt der GSM8K-Vergleich?
Für eine weniger repetitive Aufgabe prüfte NVIDIA alle 1.319 Fragen des GSM8K-Tests mit auf beiden Seiten gleichen Beispielen und Sampling-Einstellungen. Der Generierungsdurchsatz steigt dort von 37,81 auf 53,89 Einheiten pro Sekunde, also um 42,5 Prozent. Die mittlere Gesamtdauer sinkt von 15,21 auf 11,49 Sekunden, ein Minus von 24,5 Prozent. Die gemessene Genauigkeit verändert sich von 96,89 auf 96,82 Prozent; laut NVIDIA ist kein statistisch nachweisbarer Unterschied erkennbar. Die mittlere Zeit bis zur ersten Ausgabe verbessert sich nicht, sondern geht von 0,207 auf 0,214 Sekunden. Beim GSM8K-Test werden im Mittel nur 2,68 Vorschläge pro Runde akzeptiert, weniger als bei der künstlichen Last.
Warum lässt sich der künstliche Wert von 185,1 Prozent nicht verallgemeinern?
Die 185,1 Prozent aus dem künstlichen Versuch dürfen deshalb nicht an die Stelle der 42,5 Prozent beim Aufgabenvergleich treten. Eingabelänge, Ausgabelänge und Annahmeverhalten sind verschieden. Humming und FP8 senken die Kosten einzelner Schritte; NEXTN reduziert deren Anzahl. Die Kombination erfordert eine korrekte Integration. Wer sie einsetzt, sollte Modell, Hardware, Softwareversion und Ausgangszustand festhalten und auf den eigenen Anfragen Durchsatz, vollständige Latenz, erste Ausgabe und Qualität prüfen. Der Hersteller liefert dafür einen Ansatz und eine Anleitung, aber keinen universellen Beschleunigungsfaktor.