Meta 公开 OCP 网络演讲:液冷 102.4 Tb/s 交换机、跨域扩展网络与开放的 MetaRoCE

Published · AI Daily — AI-assisted deep research, methodology & disclosure

Meta 10 月 26 日的文章汇总了其 2026 年 OCP 全球峰会的网络演讲:液冷的 IcePack/IceCube 102.4 Tb/s 交换机机架、每个 GPU 接入八个平面的扁平网络、BAG 超级主干与 SRv6 骨干网、Tahan 纵向扩展交换机、OSPA 和 MetaRoCE。文章没有给出性能结果。

Meta 公开 OCP 网络演讲:液冷 102.4 Tb/s 交换机与开放的 RDMA 传输

10 月 26 日,Meta 工程博客发布了其 2026 年开放计算项目(OCP)全球峰会网络演讲的索引。Meta 称,这些工作支撑着它最新的 AI 模型 Muse Wonder 和 Muse Spark,以及吉瓦级的 Prometheus 集群。演讲录像和幻灯片现已公开。这篇文章是演讲摘要的目录,而不是测量报告。下面的每一项规格都是 Meta 对自己设计的描述,文章没有给出吞吐量、功耗或故障率的结果。它与本栏此前报道的、同一届峰会上 NVIDIA 机架设计的那篇不是同一条内容。

横向扩展:液冷交换机机架与更扁平的网络

Meta 的主打硬件是 IcePack,它称之为自家第一款液冷网络机架,以及装入其中的 IceCube 交换机。交换机刀片提供102.4 Tb/s的带宽,由 128 个 800 Gb/s 端口构成,有采用博通 Tomahawk 6C 芯片和 NVIDIA Spectrum-6 的两种版本,运行 Meta 自己的网络操作系统 FBOSS。一场演讲把 IceCube 描述为液冷与风冷混合、没有独立 PHY 芯片的设计。对于机架之间的网络,Meta 介绍了“扁平化平面网络”(Flattened Planar Fabric):每个 GPU 连接八个网络平面,三层 Clos 拓扑变为两层,网卡把数据包分散到多条路径上,一个控制平面同时管理主机与交换机。Meta 说这是与 NVIDIA 共同构建的,并已与云合作伙伴共享。

跨域扩展:连接楼宇、园区和区域

Meta 用“scale-across”指数据中心楼宇、园区和区域之间的互连。它为此提供的是 BAG,一个拍比特级的超级主干层,把 Prometheus 集群内的楼宇和园区连起来。一场关于区域骨干网的演讲说,Meta 为新的一层选择了 SRv6 路由,运行在 FBOSS 和 SAI 交换机接口上,并在几个月内从概念走到部署。另一场演讲介绍 BAG 部署的经验,包括距离管理、可靠性和容量规划。一场座谈邀请了来自 Google Cloud、Microsoft Azure、博通和 Arista 的发言人比较各种做法。这些都是议程摘要,工程上的取舍在幻灯片和视频里,而不在这篇文章中。

纵向扩展与开放标准

在机架内部,Meta 展示了 Tahan,一款基于以太网的纵向扩展交换机,用于其 MTIA 300 加速器系统,建立在博通 Tomahawk5 之上。它还预览了在 102.4 Tb/s 芯片上每机架 72 个加速器的设计。开放的以太网纵向扩展项目 ESUN 正从 1.0 版规范迈向 1.1 版。Meta 还说,它与微软和阿里巴巴共同牵头一项名为 OSPA 的新 OCP 倡议,目标是统一交换机平台层的标准,并已提交 1.0 版规范。一场演讲提到,一个铜缆纵向扩展域每机架有数千条连接,即使良率达到 99.9%,也大约会有 10 条坏链路,并把它视为统计问题。这个数字是演讲摘要中的示例,不是现场测量值。

走向开放的 RDMA 传输

文章还说,Meta 正在发布 MetaRoCE 的软件版本,这是它面向 AI 网络的 RDMA 传输。首先是 GitHub 上的用户态版本,基于 DPDK 的版本则被描述为即将推出。远程直接内存访问(RDMA)允许一台机器在几乎不占用处理器的情况下直接写入另一台机器的内存,AI 训练依赖它。想使用这些代码的读者应当查看代码库的许可证、状态和支持的硬件,因为这篇文章只是一个指引,而不是文档。它告诉你 Meta 展示了什么、材料放在哪里,却不能说明这些设计是否胜过其他方案。

阅读这份目录的三个角度

第一是规格。IceCube 的 102.4 Tb/s、128 个 800 Gb/s 端口,以及同时有 Tomahawk 6C 与 Spectrum-6 两种芯片的版本,说明 Meta 让 FBOSS 运行在两家芯片供应商的产品之上。第二是拓扑。扁平化平面网络让每个 GPU 接入八个网络平面,并把三层 Clos 压成两层,推论上是少了一层交换机、路径更短,但每个 GPU 要管理更多条路径,所以才需要网卡层面的分散数据包和统一的控制平面。第三是标准化。ESUN、OSPA 和 MetaRoCE 都指向同一个方向:把原本各厂商私有的层拆成可以互换的部件。以上是对演讲摘要的推论,不是 Meta 的测量结果,真实的收益要看幻灯片和之后的部署数据。

这篇文章的价值还在于汇集了资料入口:既有演讲视频,也有幻灯片,读者可以按主题挑选,例如交换机硬件、光互连、FBOSS、大规模集群运维和 RDMA,而不必通读全部议程。

读者应当把这些内容当作进一步查证的线索。

Sources

FAQ

Meta 介绍了哪些硬件?

Meta 介绍了 IcePack(其第一款液冷网络机架)和 IceCube(102.4 Tb/s 交换机,128 个 800 Gb/s 端口,有 Tomahawk 6C 与 Spectrum-6 两种芯片版本,运行 FBOSS),还有以太网交换机 Tahan。

文中的 scale-across 是什么意思?

Meta 用 scale-across 指数据中心楼宇、园区和区域之间的互连。相关组件包括 Prometheus 集群内拍比特级的超级主干 BAG,以及运行在 FBOSS 和 SAI 上的 SRv6 骨干网层。

MetaRoCE 的代码已经开放了吗?

Meta 说正在发布软件版本,先是 GitHub 上的用户态版本,基于 DPDK 的版本被描述为即将推出。读者应查看代码库的许可证、状态和支持的硬件,因为这篇文章只是指引,不是文档。