AICon 深圳站聚焦 Agent 技术、应用与生态,大咖分享实战干货 了解详情
写点什么

为中国市场定制!英特尔发布 7nm Gaudi2 处理器,为深度学习训练和推理而生

  • 2023-07-12
    北京
  • 本文字数:1561 字

    阅读完需:约 5 分钟

为中国市场定制!英特尔发布7nm Gaudi2处理器,为深度学习训练和推理而生

2022 年 11 月,ChatGPT发布后,国内多家互联网大厂宣布推出生成式 AI 大模型,这让原本有些沉寂的 AI 赛道一下子又火热起来。在底层硬件方面,中国市场的大模型厂商们急需一款在价格、性能、功耗上具有竞争力的芯片产品。


7 月 11 日,英特尔正式发布了面向中国市场的 7nm 制程第二代 Gaudi 深度学习加速器——Habana® Gaudi®2。


据英特尔称,这是一款为深度学习而生的全新 Gaudi2 训练加速器。该处理器以第一代 Gaudi 高性能架构为基础,以多方位性能与能效比提升,加速高性能大语言模型运行。该加速器具备:


  • 24 个可编程 Tensor 处理器核心(TPCs)

  • 21 个 100 Gbps(RoCEv2)以太网接口

  • 96GB HBM2E 内存容量

  • 2.4TB/秒的总内存带宽

  • 48MB 片上 SRAM

  • 集成多媒体处理引擎



Habana Lab 是一家以色列公司,专注于高性能人工智能计算和机器学习加速器,其产品广泛应用于云计算、数据中心、嵌入式系统等领域。英特尔和 Habana 在人工智能领域的合作可以追溯到 2018 年,当时 Habana Lab 发布了其首款人工智能加速器 Goya,该产品基于 FPGA 技术,能够加速深度学习算法,自此英特尔与 Habana Lab 建立了战略合作关系,共同开发和推广 AI 加速器。


2019 年,Habana 推出了第一代 Gaudi 芯片,该产品基于 ASIC 技术,具有更高的性能和能效。同年 12 月,Habana 被英特尔收购。


早在 2015 年,英特尔就已经推出了第二代 Gaudi 加速器。该产品基于 7nm 工艺制造,采用了 Habana 的高能效架构,主要针对大型训练和大规模分布式训练应用场景。与 Gaudi 1 相比,Gaudi 2 的性能和功能都有所提升,同时支持更多的深度学习框架和算法,能够更好地满足人工智能应用的需求。


此次在北京发布会上官宣的 Gaudi 2,实际上是面向中国市场的“定制版”。据英特尔介绍,与国际通用版 Gaudi2 相比,中国市场的“定制版”在性能和功能上没有太大差异。


英特尔执行副总裁兼数据中心与人工智能事业部总经理 Sandra Rivera 指出,“英特尔致力于通过为客户提供广泛的硬件选择,并支持开放的软件环境,加速人工智能技术的发展。凭借包括至强可扩展处理器和 Gaudi2 深度学习加速器在内的产品组合,英特尔正在降低人工智能的准入门槛,并强化客户在云端通过网络和智能边缘部署这一关键业务技术的能力,从而帮助构建中国人工智能的未来。”


在 6 月公布的MLCommons® MLPerf®基准测试中,Gaudi2 加速器的性能得到了充分认证,其在 GPT-3 模型、计算机视觉模型 ResNet-50(使用 8 个加速器)、Unet3D(使用 8 个加速器),以及自然语言处理模型 BERT(使用 8 个和 64 个加速器)上均取得了优异的训练结果。Gaudi2 在帮助用户提升运营效率和降低运营成本方面表现不俗。

满足大语言和多模态模型的需求


Gaudi2 深度学习加速器的架构旨在高效扩展,以满足大规模语言模型及生成式 AI 模型的需求。其每张芯片集成了 21 个专用于内部互联的 100Gbps(RoCEv2 RDMA)以太网接口,从而实现低延迟服务器内扩展。


在 Stable Diffusion 训练上,Gaudi2 展示了从 1 张卡至 64 张卡近线性 99%的扩展性。此外,MLCommons 刚刚公布的 MLPerf 训练 3.0结果,亦验证了 Gaudi2 处理器在 1750 亿参数的 GPT-3 模型上,从 256 个加速器到 384 个加速器可实现接近线性 95%的扩展效果。

具备成熟的软件支持


伴随日益增长的生成式 AI 及大语言模型需求,英特尔也在充分释放 Gaudi2 深度学习加速器性能。


为支持客户轻松构建模型,或将当前基于 GPU 的模型业务和系统迁移到基于全新 Gaudi2 服务器,并帮助保护软件开发投入,SynapseAI®软件套件针对 Gaudi 平台深度学习业务进行了优化,旨在与广泛的软件生态系统一起,帮助简化模型的开发和迁移。SynapseAI 集成了对 TensorFlow 和 PyTorch 框架的支持,并提供众多流行的计算机视觉和自然语言参考模型,能够满足深度学习开发者的多样化需求。


目前,英特尔正与浪潮信息合作,打造并发售基于 Gaudi2 深度学习加速器的浪潮信息 AI 服务器 NF5698G7。该服务器集成了 8 颗 Gaudi2 加速卡 HL-225B,还包含双路第四代英特尔至强可扩展处理器。

2023-07-12 18:024579
用户头像
李冬梅 加V:busulishang4668

发布了 1131 篇内容, 共 751.9 次阅读, 收获喜欢 1276 次。

关注

评论

发布
暂无评论
发现更多内容

软件测试与开发

测吧(北京)科技有限公司

软件测试

如何在flutter中运行微信小程序

Onegun

flutter 小程序

嘉为鲸眼可观测中心解决方案获评信通院可观测性优秀案例优秀级

嘉为蓝鲸

自动化运维 嘉为蓝鲸

接口自动化测试 | JsonPath 与 Mustache 请求传参的模板化技术

霍格沃兹测试开发学社

Hive 实战

Joseph295

码农如何提高自己的品味

京东科技开发者

Java 程序员 代码设计 企业号 2 月 PK 榜 品味

量化合约系统开发源码技术搭建丨合约量化系统开发Python成熟代码

I8O28578624

面试必备多线程&高并发通关手册(面试+源码+脑图)

小小怪下士

Java 程序员 面试 多线程 高并发

m序列码产生电路设计与仿真

timerring

FPGA

袋鼠云数栈UI5.0焕新升级,全新设计语言DT Design,更懂视觉更懂你!

袋鼠云数栈

大数据 UI

测试开发 | 接口自动化测试框架 RESTAssured 实践(三):对 Response 结果导出

霍格沃兹测试开发学社

企业如何实现良好的告警管理流程?

嘉为蓝鲸

告警管理 自动化运维 嘉为 嘉为蓝鲸

测试开发 | REST Assured 实践(二):断言实现

霍格沃兹测试开发学社

关于飞桨PaddlePaddle

飞桨PaddlePaddle

paddle 开源 飞桨

稀疏镜像在OpenHarmony上的应用

OpenHarmony开发者

OpenHarmony

那些爆火的小游戏你都玩过吗?

没有用户名丶

小程序游戏

【技术干货】开关电源噪声的种类来源和抑制方法解析

元器件秋姐

噪声 变压器 开关 电源

平台工程101:Dev、Sec和Ops的自动化黏合剂

SEAL安全

DevOps 自动化 DevSecOps 平台工程 企业号 2 月 PK 榜

Java CompletableFuture 异步超时实现探索

京东科技开发者

Java jdk RPC 多线程并发 企业号 2 月 PK 榜

给 Databend 添加 Scalar 函数 | 函数开发系例一

Databend

云图说丨初识云应用引擎CAE

华为云开发者联盟

云计算 后端 华为云 企业号 2 月 PK 榜 华为云开发者联盟

测试开发 | Java 接口自动化测试首选方案:REST Assured 实践 (一)

霍格沃兹测试开发学社

华为云MRS支持lakeformation能力,打造一站式湖仓,释放数据价值

华为云开发者联盟

大数据 后端 华为云 企业号 2 月 PK 榜 华为云开发者联盟

使用 ChatGPT 轻松创建用户注册页面

devpoint

人工智能 AI ChatGPT

软件测试 | 什么是被测系统架构与数据流分析

测吧(北京)科技有限公司

软件测试

初学者必看!3D建模要学什么软件?

Finovy Cloud

3DMAX maya 3D软件

软件测试 | 被测系统的需求理解

测吧(北京)科技有限公司

软件测试

Redis 异步客户端选型及落地实践

京东科技开发者

redis Jedis 客户端 集群库 企业号 2 月 PK 榜

TiDB 在安信证券资产中心与极速交易场景的实践

PingCAP

TiDB

为中国市场定制!英特尔发布7nm Gaudi2处理器,为深度学习训练和推理而生_英特尔_李冬梅_InfoQ精选文章