NVIDIA 以太网加速 xAI 构建的全球最大 AI 超级计算机

2024 年 10 月 28 日，NVIDIA 宣布 xAI 位于田纳西州孟菲斯市的 Colossus 超级计算机集群达到了 10 万颗 NVIDIA® Hopper  GPU 的巨大规模。该集群使用了 NVIDIA Spectrum-X™ 以太网网络平台，该平台是专为多租户、超大规模的 AI 工厂提供卓越性能而设计的 RDMA（Remote Direct Memory Access）网络。

Colossus 是世界上最大的 AI 超级计算机，目前正被用于训练马斯克 xAI 的 Grok 系列大语言模型，以及作为 X Premium 用户功能之一的聊天机器人（Chatbot）。xAI 正在将 Colossus 的规模进一步扩大一倍至 20 万颗 NVIDIA HopperGPU。

据介绍，在训练 Grok 这种超大型模型时，Colossus 实现了空前的网络性能，在三层网络架构下，整个系统未出现任何因流量冲突而造成的应用延迟增加或数据包丢失的情况。凭借 Spectrum-X 先进的拥塞控制功能，系统数据吞吐量一直保持在 95%。这一性能水平是传统以太网在大规模的情况下根本无法实现的，传统以太网在数千条流发生冲突时，只能提供 60% 的数据吞吐量。

Spectrum-X 平台的核心是 Spectrum SN5600 以太网交换机，支持高达 800Gb/s 的端口速度，采用了 Spectrum-4 交换机 ASIC。xAI 采用了 Spectrum-X SN5600 交换机与 NVIDIA BlueField-3® SuperNIC 的端到端解决方案，以此实现了高性能。

专门面向 AI 的 Spectrum-X 以太网网络可在提供高效、可扩展带宽的同时，实现低延迟和短尾延迟，这些功能之前是 InfiniBand 网络所独有的。Spectrum-X 的功能包括基于 NVIDIA DDP（Direct Data Placement）技术的动态路由、拥塞控制计算，以及增强了 AI 网络的可视性和性能隔离，所有这些功能都是多租户生成式 AI 云和大型企业应用环境的关键要求。

xAI 和 NVIDIA 仅用了 122 天就建成了所有配套设施和这台最先进的超级计算机，从第一个机架落地到开始训练任务，只用了 19 天。而建造这种规模的系统通常需要数月乃至数年的时间。“Colossus 是世界上最强大的训练系统。xAI 团队、NVIDIA 和我们的众多合作伙伴及供应商干得漂亮。”埃隆·马斯克在 X 上说道。

NVIDIA 网络高级副总裁 Gilad Shainer 表示：“AI 正变得至关重要，对性能、安全性、可扩展性和成本效益提出了更高的要求。NVIDIA Spectrum-X 以太网网络平台专为那些如 xAI 一样的创新企业提供更快的处理、分析和执行 AI 工作负载的速度，进而加速 AI 解决方案的开发、部署和上市。”