为中国市场定制！英特尔发布 7nm Gaudi2 处理器，为深度学习训练和推理而生

2022 年 11 月，ChatGPT发布后，国内多家互联网大厂宣布推出生成式 AI 大模型，这让原本有些沉寂的 AI 赛道一下子又火热起来。在底层硬件方面，中国市场的大模型厂商们急需一款在价格、性能、功耗上具有竞争力的芯片产品。

7 月 11 日，英特尔正式发布了面向中国市场的 7nm 制程第二代 Gaudi 深度学习加速器——Habana® Gaudi®2。

据英特尔称，这是一款为深度学习而生的全新 Gaudi2 训练加速器。该处理器以第一代 Gaudi 高性能架构为基础，以多方位性能与能效比提升，加速高性能大语言模型运行。该加速器具备：

• 24 个可编程 Tensor 处理器核心（TPCs）

• 21 个 100 Gbps（RoCEv2）以太网接口

• 96GB HBM2E 内存容量

• 2.4TB/秒的总内存带宽

• 48MB 片上 SRAM

• 集成多媒体处理引擎

Habana Lab 是一家以色列公司，专注于高性能人工智能计算和机器学习加速器，其产品广泛应用于云计算、数据中心、嵌入式系统等领域。英特尔和 Habana 在人工智能领域的合作可以追溯到 2018 年，当时 Habana Lab 发布了其首款人工智能加速器 Goya，该产品基于 FPGA 技术，能够加速深度学习算法，自此英特尔与 Habana Lab 建立了战略合作关系，共同开发和推广 AI 加速器。

2019 年，Habana 推出了第一代 Gaudi 芯片，该产品基于 ASIC 技术，具有更高的性能和能效。同年 12 月，Habana 被英特尔收购。

早在 2015 年，英特尔就已经推出了第二代 Gaudi 加速器。该产品基于 7nm 工艺制造，采用了 Habana 的高能效架构，主要针对大型训练和大规模分布式训练应用场景。与 Gaudi 1 相比，Gaudi 2 的性能和功能都有所提升，同时支持更多的深度学习框架和算法，能够更好地满足人工智能应用的需求。

此次在北京发布会上官宣的 Gaudi 2，实际上是面向中国市场的“定制版”。据英特尔介绍，与国际通用版 Gaudi2 相比，中国市场的“定制版”在性能和功能上没有太大差异。

英特尔执行副总裁兼数据中心与人工智能事业部总经理 Sandra Rivera 指出，“英特尔致力于通过为客户提供广泛的硬件选择，并支持开放的软件环境，加速人工智能技术的发展。凭借包括至强可扩展处理器和 Gaudi2 深度学习加速器在内的产品组合，英特尔正在降低人工智能的准入门槛，并强化客户在云端通过网络和智能边缘部署这一关键业务技术的能力，从而帮助构建中国人工智能的未来。”

在 6 月公布的MLCommons® MLPerf®基准测试中，Gaudi2 加速器的性能得到了充分认证，其在 GPT-3 模型、计算机视觉模型 ResNet-50（使用 8 个加速器）、Unet3D（使用 8 个加速器），以及自然语言处理模型 BERT（使用 8 个和 64 个加速器）上均取得了优异的训练结果。Gaudi2 在帮助用户提升运营效率和降低运营成本方面表现不俗。

满足大语言和多模态模型的需求

Gaudi2 深度学习加速器的架构旨在高效扩展，以满足大规模语言模型及生成式 AI 模型的需求。其每张芯片集成了 21 个专用于内部互联的 100Gbps（RoCEv2 RDMA）以太网接口，从而实现低延迟服务器内扩展。

在 Stable Diffusion 训练上，Gaudi2 展示了从 1 张卡至 64 张卡近线性 99%的扩展性。此外，MLCommons 刚刚公布的 MLPerf 训练 3.0结果，亦验证了 Gaudi2 处理器在 1750 亿参数的 GPT-3 模型上，从 256 个加速器到 384 个加速器可实现接近线性 95%的扩展效果。

具备成熟的软件支持

伴随日益增长的生成式 AI 及大语言模型需求，英特尔也在充分释放 Gaudi2 深度学习加速器性能。

为支持客户轻松构建模型，或将当前基于 GPU 的模型业务和系统迁移到基于全新 Gaudi2 服务器，并帮助保护软件开发投入，SynapseAI®软件套件针对 Gaudi 平台深度学习业务进行了优化，旨在与广泛的软件生态系统一起，帮助简化模型的开发和迁移。SynapseAI 集成了对 TensorFlow 和 PyTorch 框架的支持，并提供众多流行的计算机视觉和自然语言参考模型，能够满足深度学习开发者的多样化需求。

目前，英特尔正与浪潮信息合作，打造并发售基于 Gaudi2 深度学习加速器的浪潮信息 AI 服务器 NF5698G7。该服务器集成了 8 颗 Gaudi2 加速卡 HL-225B，还包含双路第四代英特尔至强可扩展处理器。