当地时间 8 月 24 日，在 Hot Chips 大会期间，英伟达集中披露了新一代 AI 基础设施的多项进展。
面向低延迟推理的 NVIDIA Groq 3 LPX 已经进入全面量产，Nebius 将成为首家采用者；
Spectrum-X 以太网引入多平面架构，目标是在不增加第三层网络的情况下扩展至 51.2 万颗 GPU；由 BlueField-4 和 DOCA 支持的 Scale-In，则开始接管 AI 工厂的安全、存储访问和运维任务；NVLink Fusion 进一步把云厂商自研的 XPU 和 CPU 接入英伟达机架体系。
这些并非彼此独立的产品。英伟达正在围绕 Vera Rubin 构建一套更完整的“AI 工厂”：GPU 负责训练和通用推理，Groq 3 LPX 提高 Token 生成速度，NVLink 完成机架内互连，Spectrum-X 连接大规模集群，Scale-In 处理基础设施服务。
Groq 3 LPX 量产，专门加速 Token 生成
Groq 3 LPX 被英伟达定义为“交互式 AI 推理加速器”。它并非用于替代 Vera Rubin GPU，而是作为 Vera Rubin 平台的扩展，专门提高推理生成阶段的 Token 输出速度。
代码智能体等应用不会在一次推理后结束任务，而是需要反复读取文件、编写和测试代码、调用工具、检查结果。在数百甚至数千个执行步骤中，单次生成延迟会不断累积，最终影响一个任务需要几分钟还是几小时完成。
英伟达称，Groq 3 LPX 在 Artificial Analysis 使用 Gemma 4 31B 开放模型进行的测试中，在 10 万 Token 上下文条件下达到每秒 3400 个输出 Token，并将其描述为该模型目前有记录以来的最快成绩。
据介绍，在智能体和其他延迟敏感型负载上，其响应速度可达到最接近替代平台的 4 倍。
首批部署将来自 AI 云服务商。Nebius 计划把 Groq 3 LPX 接入生产级推理平台 Nebius Token Factory，开发者可以继续使用原有 API，无需迁移软件栈。继 Nebius 之后，Groq 也计划成为早期采用者之一。
Spectrum-X 多平面：不增加第三层网络
Groq 3 LPX 解决 Token 生成速度，Spectrum-X 多平面则负责扩大集群。
传统两层以太网集群达到一定规模后，往往需要增加第三层网络，随之而来的是更多交换跳数、延迟、抖动，以及交换机、光模块和布线成本。
Spectrum-X 多平面采用另一种方式：将每台服务器的网络连接拆分成多个独立“平面”，每个平面运行一套两层网络。多个网络平面组合后，整体最高可扩展至 51.2 万颗 GPU，而应用看到的仍然是一条完整连接。
流量分配由 ConnectX SuperNIC 内置的硬件引擎完成。一个网络平面发生故障时，SuperNIC 会将流量重新分配至其他平面。
在八平面拓扑中，一个平面失效后，系统仍可保留约 90%的总带宽。英伟达称，其基于硬件恢复速度比基于软件多平面负载均衡的恢复速度快了 11 倍，并可使 AI 工厂产出提高 1.6 倍。
Spectrum-X SN6000 系列交换机采用 102.4Tb/s Spectrum-6 以太网 ASIC，配合 ConnectX-9 SuperNIC，可为每颗 GPU 提供最高 1600Gb/s 的带宽。Spectrum-XGS 则把网络扩展到多个数据中心，英伟达称其可将多站点 NCCL 集合通信性能提高 1.9 倍。
Scale-In 接管安全、存储和运维
GPU 集群扩大后，需要处理的不只是模型数据。用户访问、存储请求、身份验证、安全检测和监控流量同样会消耗计算资源。
为此，英伟达推出了 Scale-In，并将其称为 AI 网络体系的“第五大支柱”。
Scale-In 由 BlueField-4 处理器和 DOCA 软件平台支持，通过 Spectrum-X 以太网连接。它将多租户网络、存储访问、安全、资源配置和实时可观测性从主机侧分离出来，放入独立的硬件加速域，避免这些任务持续占用 CPU 和 GPU。
如果说 NVLink 解决机架内部的 Scale-Up，Spectrum-X 解决跨机架的 Scale-Out，那么 Scale-In 处理的是用户、数据、存储和基础设施服务如何进入 AI 工厂。
这也意味着，英伟达定义的 AI 工厂已经不只是一个 GPU 集群，而是开始覆盖计算任务进入、运行、存储和管理的完整过程。
另外一侧，NVLink Fusion 解决的则是另一个问题：当云厂商开始开发自己的 AI 芯片，如何将这些定制 XPU 部署到成熟的机架系统中。
过去，NVLink 主要用于英伟达 GPU 之间的高速互连。NVLink Fusion 将这一能力延伸到第三方 XPU 和 CPU，使超大规模云厂商能够把自研芯片接入 NVLink、NVLink Switch 和 MGX 机架架构。
NVLink Fusion 包括第六代 NVLink、NVLink Switch 和用于连接 XPU 与 CPU 的 NVLink-C2C。NVLink Fusion 将 XPU 引入 NVIDIA NVLink 纵向扩展互连域。
第六代 NVLink 提供领先的高带宽、低延迟网络实现 72 个 XPU 的互连域。与基于通用以太网的替代解决方案相比，XPU 到 XPU 传输的端到端延迟降低至三分之一，数据包速率提高 10 倍。NVIDIA NVLink-C2C 技术，可将 XPU 连接到 NVIDIA Vera CPU 或其他生态系统 CPU，能效最高可达 PCIe 接口的 6 倍，显著减少代理式 AI 系统在控制和计算之间的性能瓶颈。
采用者还可以沿用 MGX 机架，以及相应的供电、液冷、网络、管理软件和制造供应链。这使云厂商能够在相似的基础设施中部署英伟达 GPU 或自研 XPU，并根据供应情况和工作负载调整芯片组合。
英伟达将这一策略概括为“纵向整合、横向开放”。这里的开放不是将 NVLink 变成完全独立的通用标准，而是允许第三方芯片进入英伟达定义的机架级体系。
英伟达要定义的不只是一颗 GPU
将此次公布的产品放在一起，英伟达的路线已经较为清晰：Groq 3 LPX 负责低延迟 Token 生成、NVLink 和 NVLink Fusion 负责机架内部互连、Spectrum-X 多平面负责跨机架扩展、Spectrum-XGS 连接多个数据中心加上 Scale-In 负责安全、存储和运维服务。
这套架构背后的判断是，未来 AI 系统的性能不会由某一颗芯片单独决定。
计算速度、Token 生成延迟、网络、存储、安全和运维必须被共同设计。
对英伟达而言，这也意味着竞争边界正在从 GPU 扩大到整座 AI 工厂。因此，此次 Hot Chips 披露的更像是一张完整的技术路线图。
真正需要等待验证的是，这套覆盖计算、网络和运维的架构，能否将基准测试中的性能提升转化为客户可以衡量的成本、稳定性与产出。
