写点什么

为中国市场定制!英特尔发布 7nm Gaudi2 处理器,为深度学习训练和推理而生

  • 2023-07-12
    北京
  • 本文字数:1561 字

    阅读完需:约 5 分钟

为中国市场定制!英特尔发布7nm Gaudi2处理器,为深度学习训练和推理而生

2022 年 11 月,ChatGPT发布后,国内多家互联网大厂宣布推出生成式 AI 大模型,这让原本有些沉寂的 AI 赛道一下子又火热起来。在底层硬件方面,中国市场的大模型厂商们急需一款在价格、性能、功耗上具有竞争力的芯片产品。


7 月 11 日,英特尔正式发布了面向中国市场的 7nm 制程第二代 Gaudi 深度学习加速器——Habana® Gaudi®2。


据英特尔称,这是一款为深度学习而生的全新 Gaudi2 训练加速器。该处理器以第一代 Gaudi 高性能架构为基础,以多方位性能与能效比提升,加速高性能大语言模型运行。该加速器具备:


  • 24 个可编程 Tensor 处理器核心(TPCs)

  • 21 个 100 Gbps(RoCEv2)以太网接口

  • 96GB HBM2E 内存容量

  • 2.4TB/秒的总内存带宽

  • 48MB 片上 SRAM

  • 集成多媒体处理引擎



Habana Lab 是一家以色列公司,专注于高性能人工智能计算和机器学习加速器,其产品广泛应用于云计算、数据中心、嵌入式系统等领域。英特尔和 Habana 在人工智能领域的合作可以追溯到 2018 年,当时 Habana Lab 发布了其首款人工智能加速器 Goya,该产品基于 FPGA 技术,能够加速深度学习算法,自此英特尔与 Habana Lab 建立了战略合作关系,共同开发和推广 AI 加速器。


2019 年,Habana 推出了第一代 Gaudi 芯片,该产品基于 ASIC 技术,具有更高的性能和能效。同年 12 月,Habana 被英特尔收购。


早在 2015 年,英特尔就已经推出了第二代 Gaudi 加速器。该产品基于 7nm 工艺制造,采用了 Habana 的高能效架构,主要针对大型训练和大规模分布式训练应用场景。与 Gaudi 1 相比,Gaudi 2 的性能和功能都有所提升,同时支持更多的深度学习框架和算法,能够更好地满足人工智能应用的需求。


此次在北京发布会上官宣的 Gaudi 2,实际上是面向中国市场的“定制版”。据英特尔介绍,与国际通用版 Gaudi2 相比,中国市场的“定制版”在性能和功能上没有太大差异。


英特尔执行副总裁兼数据中心与人工智能事业部总经理 Sandra Rivera 指出,“英特尔致力于通过为客户提供广泛的硬件选择,并支持开放的软件环境,加速人工智能技术的发展。凭借包括至强可扩展处理器和 Gaudi2 深度学习加速器在内的产品组合,英特尔正在降低人工智能的准入门槛,并强化客户在云端通过网络和智能边缘部署这一关键业务技术的能力,从而帮助构建中国人工智能的未来。”


在 6 月公布的MLCommons® MLPerf®基准测试中,Gaudi2 加速器的性能得到了充分认证,其在 GPT-3 模型、计算机视觉模型 ResNet-50(使用 8 个加速器)、Unet3D(使用 8 个加速器),以及自然语言处理模型 BERT(使用 8 个和 64 个加速器)上均取得了优异的训练结果。Gaudi2 在帮助用户提升运营效率和降低运营成本方面表现不俗。

满足大语言和多模态模型的需求


Gaudi2 深度学习加速器的架构旨在高效扩展,以满足大规模语言模型及生成式 AI 模型的需求。其每张芯片集成了 21 个专用于内部互联的 100Gbps(RoCEv2 RDMA)以太网接口,从而实现低延迟服务器内扩展。


在 Stable Diffusion 训练上,Gaudi2 展示了从 1 张卡至 64 张卡近线性 99%的扩展性。此外,MLCommons 刚刚公布的 MLPerf 训练 3.0结果,亦验证了 Gaudi2 处理器在 1750 亿参数的 GPT-3 模型上,从 256 个加速器到 384 个加速器可实现接近线性 95%的扩展效果。

具备成熟的软件支持


伴随日益增长的生成式 AI 及大语言模型需求,英特尔也在充分释放 Gaudi2 深度学习加速器性能。


为支持客户轻松构建模型,或将当前基于 GPU 的模型业务和系统迁移到基于全新 Gaudi2 服务器,并帮助保护软件开发投入,SynapseAI®软件套件针对 Gaudi 平台深度学习业务进行了优化,旨在与广泛的软件生态系统一起,帮助简化模型的开发和迁移。SynapseAI 集成了对 TensorFlow 和 PyTorch 框架的支持,并提供众多流行的计算机视觉和自然语言参考模型,能够满足深度学习开发者的多样化需求。


目前,英特尔正与浪潮信息合作,打造并发售基于 Gaudi2 深度学习加速器的浪潮信息 AI 服务器 NF5698G7。该服务器集成了 8 颗 Gaudi2 加速卡 HL-225B,还包含双路第四代英特尔至强可扩展处理器。

2023-07-12 18:024307
用户头像
李冬梅 加V:busulishang4668

发布了 1114 篇内容, 共 727.5 次阅读, 收获喜欢 1256 次。

关注

评论

发布
暂无评论
发现更多内容

第十三周作业

orchid9

week13作业

龙卷风

架构师一期

第十三周总结

orchid9

【架构师训练营第 1 期 13 周】 作业

Bear

极客大学架构师训练营

架构师训练营第 1 期 -- 第十三周作业

发酵的死神

极客大学架构师训练营

训练营第九周作业

大脸猫

极客大学架构师训练营

训练营第九周总结

大脸猫

极客大学架构师训练营

架构师训练营第九周笔记

李日盛

架构师训练营第二期 Week 9 总结

bigxiang

极客大学架构师训练营

JVM&秒杀案例

幸福小子

JVM原理

周练习 13

何毅曦

【架构师训练营第 1 期 13 周】 学习总结

Bear

极客大学架构师训练营

JVM垃圾回收原理

幸福小子

JVM垃圾回收原理

成为架构师 - 架构师训练营第 08 周

陈永龙Vincent

架构师训练营第二期 Week 9 作业

bigxiang

极客大学架构师训练营

第十二周作业

wanlinwang

极客大学架构师训练营

架构师训练营week13 作业

FG佳

极客大学架构师训练营

增强产业链供应链自主可控能力

CECBC

供应链

架构师训练营第2期 第9周总结

月下独酌

极客大学架构师训练营

C语言学习你要的都在这里

C语言与CPP编程

c++ 学习 编程 C语言

架构师训练营 2 期 Week09 作业

架构师训练营 2 期 Week09 总结

redis的I/O多路复用

en

redis 多路复用 epoll

架构师训练营第九周作业

李日盛

架构

成为架构师 - 架构师训练营第 07 周

陈永龙Vincent

[架构师训练营第 1 期] 第 13 周命题作业

猫切切切切切

极客大学架构师训练营

盘点2020 | 我要为分布式数据库mongodb在国内影响力提升及推广做点事

杨亚洲(专注MongoDB及高性能中间件)

数据库 mongodb 盘点2020 分布式数据库mongodb

南昌“舞动”区块链

CECBC

区块链 基础设施

架构师 01 期,第十三周课后作业

子文

互操作性如何助推区块链接入互联网基础设施

CECBC

区块链 密码学

架构师训练营 week13总结

FG佳

极客大学架构师训练营

为中国市场定制!英特尔发布7nm Gaudi2处理器,为深度学习训练和推理而生_英特尔_李冬梅_InfoQ精选文章