Meta veröffentlicht OCP-Netzwerkvorträge: flüssigkeitsgekühlte 102,4 Tb/s-Switches, Scale-across-Netze und offenes MetaRoCE

Meta veröffentlicht seine OCP-Netzwerkvorträge: flüssigkeitsgekühlte 102,4 Tb/s-Switches und ein offener RDMA-Transport

Am 26. Oktober stellte Meta in seinem Engineering-Blog ein Verzeichnis seiner Netzwerkvorträge vom Open Compute Project (OCP) Global Summit 2026 online. Meta sagt, die Arbeiten stützten seine neuesten KI-Modelle Muse Wonder und Muse Spark sowie den Prometheus-Cluster im Gigawatt-Maßstab. Die Aufzeichnungen und Folien sind nun öffentlich. Der Beitrag ist ein Katalog von Vortragszusammenfassungen und kein Messbericht. Jede Spezifikation unten ist Metas eigene Beschreibung seiner Entwürfe, und der Beitrag nennt keine Ergebnisse zu Durchsatz, Leistungsaufnahme oder Ausfallraten. Er behandelt ein anderes Thema als der frühere Artikel dieser Reihe über die Rack-Entwürfe von NVIDIA auf demselben Gipfel.

Scale-out: ein flüssigkeitsgekühltes Switch-Rack und ein flacheres Netz

Metas wichtigste Hardware ist IcePack, das Meta als sein erstes flüssigkeitsgekühltes Netzwerk-Rack bezeichnet, und der Switch IceCube, der darin steckt. Die Switch-Blades liefern 102.4 Tb/s, aufgebaut aus 128 Ports mit je 800 Gb/s, in Varianten mit Broadcoms Chip Tomahawk 6C oder NVIDIAs Spectrum-6, und sie laufen unter FBOSS, Metas eigenem Netzwerk-Betriebssystem. Ein Vortrag beschreibt IceCube als Entwurf mit gemischter Flüssigkeits- und Luftkühlung ohne separate PHY-Chips. Für das Netz zwischen den Racks beschreibt Meta ein Flattened Planar Fabric. Dabei ist jede GPU mit acht Netzebenen verbunden, aus einer dreistufigen Clos-Topologie wird eine zweistufige, die Netzwerkkarten verteilen Pakete auf mehrere Pfade, und eine einzige Steuerungsebene verbindet Host und Switch. Meta sagt, es habe dies mit NVIDIA gebaut und mit Cloud-Partnern geteilt.

Scale-across: Gebäude, Campus und Regionen verbinden

Meta verwendet „Scale-across“ für Verbindungen zwischen Rechenzentrumsgebäuden, Campus und Regionen. Sein Baustein dafür ist BAG, ein Super-Spine im Petabit-Maßstab, der Gebäude und Campus innerhalb des Prometheus-Clusters verbindet. Ein Vortrag über regionale Backbone-Netze sagt, Meta habe für eine neue Schicht SRv6-Routing gewählt, das auf FBOSS und der Switch-Schnittstelle SAI läuft, und sei in Monaten vom Konzept zum Einsatz gekommen. Ein weiterer Vortrag behandelt Erfahrungen aus dem BAG-Einsatz, darunter Entfernungsmanagement, Zuverlässigkeit und Kapazitätsplanung. In einer Diskussionsrunde vergleichen Sprecher von Google Cloud, Microsoft Azure, Broadcom und Arista die Ansätze. Das sind Sitzungszusammenfassungen, die technischen Abwägungen stehen also in den Folien und Videos, nicht in diesem Beitrag.

Scale-up und offene Standards

Innerhalb eines Racks stellt Meta Tahan vor, einen Ethernet-basierten Scale-up-Switch für sein Beschleunigersystem MTIA 300, gebaut auf Broadcoms Tomahawk5. Außerdem gibt es eine Vorschau auf einen Entwurf mit 72 Beschleunigern pro Rack auf 102,4 Tb/s-Silizium. ESUN, die offene Initiative für Ethernet im Scale-up, rückt von der Spezifikation 1.0 zur 1.1. Meta sagt zudem, es leite gemeinsam mit Microsoft und Alibaba eine neue OCP-Initiative namens OSPA, die die Plattformschicht der Switches standardisieren soll, und eine Spezifikation 1.0 sei eingereicht. Ein Vortrag erklärt, dass eine Kupfer-Scale-up-Domäne mit Tausenden Verbindungen pro Rack selbst bei 99,9 % Ausbeute etwa 10 fehlerhafte Verbindungen hätte, und behandelt dies als statistisches Problem. Diese Zahl ist ein Beispiel aus einer Vortragszusammenfassung und kein Messwert aus dem Betrieb.

Ein RDMA-Transport wird offen

Der Beitrag sagt außerdem, Meta veröffentliche Softwareversionen von MetaRoCE, seinem RDMA-Transport für KI-Netze. Den Anfang macht eine Version im Benutzerraum auf GitHub, eine auf DPDK basierende Version wird als bald verfügbar beschrieben. Remote Direct Memory Access (RDMA) lässt eine Maschine mit geringer Prozessorbeteiligung direkt in den Speicher einer anderen schreiben, und KI-Training hängt davon ab. Leser, die den Code nutzen wollen, sollten Lizenz, Stand und unterstützte Hardware des Repositorys prüfen, denn der Beitrag ist ein Hinweis und keine Dokumentation. Er sagt, was Meta vorgestellt hat und wo das Material liegt. Er zeigt nicht, ob diese Entwürfe Alternativen übertreffen.