Full-Stack-Codesign löst das KI-Speicherproblem

Hintergrund

NVIDIA hat Anfang November 2026 im offiziellen Blog ein strukturelles Problem der KI-Rechentechnik beschrieben: den GPU-Speicher. Der Beitrag nennt drei Treiber. Erstens wachsen die Modelle weiter, und allein ihre Parameter belegen sehr viel Speicher. Zweitens werden die Kontextfenster länger, sodass der Zwischenzustand, den die Inferenz vorhalten muss, mitwächst. Drittens verlangen agentische Anwendungen, dass eine einzelne Aufgabe das Modell mehrfach aufruft und den Zustand lange behält. Zusammen sorgen diese Kräfte dafür, dass der Speicher früher an seine Grenze stößt als die Rechenleistung.

Hinzu kommt eine Marktlage: Das Angebot an Speicher wird knapper, die Preise steigen. NVIDIA erwartet, dass sich das kurzfristig nicht ändert. Das Unternehmen antwortet auf zwei Wegen. Der erste ist die enge Zusammenarbeit mit Speicherpartnern, damit neue Speichertechnologien schnell in die Produkte kommen. Der zweite ist Full-Stack-Codesign, das Hardware, Interconnect, Systemsoftware und Inferenz-Frameworks gemeinsam optimiert. Ziel ist, aus jedem Byte mehr Leistung zu holen.

Warum begrenzt der GPU-Speicher die Inferenz großer Sprachmodelle? Der Speicher hält drei Arten von Daten. Die Modellgewichte wachsen mit der Parameterzahl und der numerischen Genauigkeit, weshalb Formate mit niedriger Präzision die Belegung unmittelbar senken. Der Key-Value-Cache speichert den Verlauf der Aufmerksamkeit, damit nichts doppelt berechnet wird. Seine Größe steigt linear mit der Kontextlänge und der Zahl paralleler Anfragen und übersteigt bei langen Kontexten und vielen Nutzern oft die Gewichte. Dazu kommen Aktivierungen und temporäre Puffer.

Tiefenanalyse

Die Decode-Phase erklärt, warum Kapazität und Bandbreite so zählen. Sie wird von der Speicherbandbreite begrenzt, nicht von der Rechenleistung. Für jedes erzeugte Token liest das System Gewichte und Cache erneut aus dem Speicher, und die Recheneinheiten warten häufig auf Daten. Deshalb entscheiden Kapazität und Bandbreite, wie viele Nutzer eine Karte bedient und wie schnell sie antwortet. Auch deshalb gehört High-Bandwidth-Memory zu den teuersten und knappsten Bauteilen eines Beschleunigers. Es stapelt mehrere Speicherchips und wird per fortgeschrittener Verpackung mit dem Rechenchip verbunden. Der Ausbau dauert lange, Ausbeute und Packaging-Kapazität sind Engpässe. Die Nachfrage wächst schneller als das Angebot, also steigen die Preise.

Agentische Anwendungen verschärfen den Druck. Ein Agent liest große Mengen an Werkzeugausgaben, sein Kontext wird dadurch sehr lang. Dieselbe Sitzung wird immer wieder genutzt, der Cache muss länger im Speicher bleiben. Die Last ist kein kurzer Spitzenwert, sondern eine dauerhafte Belegung.

Was bedeutet Full-Stack-Codesign für den GPU-Speicher? Es bedeutet, Speicher als gemeinsames Budget des Gesamtsystems zu verwalten und nicht als isoliertes Bauteil einzukaufen. Auf Chipebene erlaubt native Unterstützung für Datenformate mit niedriger Präzision, Gewichte und Cache mit weniger Bits darzustellen und die Genauigkeit möglichst zu halten. Auf Systemebene verbindet ein schneller Interconnect den Speicher mehrerer Karten zu einem größeren Pool, und eine Staffelung über Hostspeicher und lokalen Speicher lagert ungenutzten Cache aus und holt ihn bei Bedarf zurück. In der Software helfen paginierte Cache-Verwaltung gegen Fragmentierung, Prefix-Caching gegen die Neuberechnung identischer Systemprompts und die Trennung von Prefill und Decode auf unterschiedliche Ressourcen. Spekulatives Decoding, Mixture-of-Experts und Cache-Kompression verringern zusätzlich die Datenmenge pro Token. Einzeln ist keine dieser Methoden neu. Die Gewinne addieren sich erst, wenn Hardwarefunktionen, Kommunikationsbibliotheken, Compiler und Frameworks gemeinsam entworfen werden. Eine Grenze bleibt: Die Quelle nennt Richtung und Methode, keine Messwerte. Wie groß der Leistungsgewinn ausfällt, zeigen erst spätere Produkte und Benchmarks.

Branchenwirkung

Für Speicherhersteller bleibt die Nachfrage nach der fortschrittlichsten Technik konzentriert. Wer die nächste Generation von High-Bandwidth-Memory früher in Serie bringt, gewinnt gegenüber GPU-Anbietern Verhandlungsmacht und stabilere Aufträge. Dass NVIDIA die enge Abstimmung mit Partnern betont, deutet zudem darauf hin, dass es Kapazität und technischen Takt früh sichern will.

Für konkurrierende KI-Chiphersteller und Cloud-Anbieter mit eigenen Beschleunigern ist der Druck zweifach. Sie leiden unter derselben Speicherknappheit, besitzen aber keinen so vollständigen Stack vom Interconnect bis zur Software wie NVIDIA. Es fällt ihnen schwerer, jedes Byte durch gemeinsame Optimierung auszuschöpfen.

Cloud-Anbieter und Modellunternehmen spüren höhere Speicherpreise direkt in den Inferenzkosten. Der Preisspielraum für Funktionen mit langem Kontext und für Agenten schrumpft, die Produktgestaltung neigt zu Cache-Wiederverwendung, Destillation und Arbeitsteilung unter kleineren Modellen. Für Unternehmenskunden ist die Spitzenrechenleistung kein guter Maßstab. Besser misst man, wie viele parallele Nutzer und wie viel Kontext jede Speichereinheit bedient, denn diese Zahl bestimmt die realen Kosten. In Open-Source-Frameworks werden Cache-Verwaltung, gestaffelter Speicher und Scheduling zum Wettbewerbsfeld und womöglich zur neuen Andockstelle an Hardware-Ökosysteme.

Ausblick

Fünf Signale verdienen Aufmerksamkeit. Das erste ist, wie die nächste Beschleunigergeneration Kapazität, Bandbreite und Verpackung abwägt und wie schnell neues High-Bandwidth-Memory in Serie geht und welche Ausbeute es erreicht. Das entscheidet, wann sich die Knappheit löst. Das zweite ist, ob Formate mit niedriger Präzision und Cache-Kompression bei mehr Modellen stabil laufen und der Genauigkeitsverlust beherrschbar bleibt. Das dritte ist, ob Inferenz-Stacks gestaffelten Cache, die Trennung von Prefill und Decode und knotenübergreifendes Cache-Sharing zur Standardfunktion machen, statt sie nur großen Kunden zur Feinabstimmung zu überlassen.

Das vierte Signal ist, wie Speicherpreise in die Angebote für Cloud-Inferenz durchschlagen. Steigt der Stückpreis für Dienste mit langem Kontext und für Agenten weiter, wenden sich Anwendungsentwickler schneller cachefreundlichen Entwürfen zu. Das fünfte ist der Fortschritt alternativer Wege wie neuer Protokolle zur Speichererweiterung, Near-Memory-Computing und dichterem On-Chip-Speicher, die in bestimmten Fällen High-Bandwidth-Memory entlasten könnten.

Insgesamt verschwindet die Speicherknappheit nicht bald. Der eigentliche Wettbewerb verlagert sich von der Frage, wer mehr Speicher besitzt, zu der Frage, wer mit weniger Speicher mehr erledigt. Wer KI-Infrastruktur beobachtet, sollte Speichereffizienz als Kennzahl gleichrangig mit der Rechenleistung bewerten und auf Messwerte achten, die Hersteller in Präsentationen und technischen Dokumenten veröffentlichen.