写点什么

为中国市场定制!英特尔发布 7nm Gaudi2 处理器,为深度学习训练和推理而生

  • 2023-07-12
    北京
  • 本文字数:1561 字

    阅读完需:约 5 分钟

为中国市场定制!英特尔发布7nm Gaudi2处理器,为深度学习训练和推理而生

2022 年 11 月,ChatGPT发布后,国内多家互联网大厂宣布推出生成式 AI 大模型,这让原本有些沉寂的 AI 赛道一下子又火热起来。在底层硬件方面,中国市场的大模型厂商们急需一款在价格、性能、功耗上具有竞争力的芯片产品。


7 月 11 日,英特尔正式发布了面向中国市场的 7nm 制程第二代 Gaudi 深度学习加速器——Habana® Gaudi®2。


据英特尔称,这是一款为深度学习而生的全新 Gaudi2 训练加速器。该处理器以第一代 Gaudi 高性能架构为基础,以多方位性能与能效比提升,加速高性能大语言模型运行。该加速器具备:


  • 24 个可编程 Tensor 处理器核心(TPCs)

  • 21 个 100 Gbps(RoCEv2)以太网接口

  • 96GB HBM2E 内存容量

  • 2.4TB/秒的总内存带宽

  • 48MB 片上 SRAM

  • 集成多媒体处理引擎



Habana Lab 是一家以色列公司,专注于高性能人工智能计算和机器学习加速器,其产品广泛应用于云计算、数据中心、嵌入式系统等领域。英特尔和 Habana 在人工智能领域的合作可以追溯到 2018 年,当时 Habana Lab 发布了其首款人工智能加速器 Goya,该产品基于 FPGA 技术,能够加速深度学习算法,自此英特尔与 Habana Lab 建立了战略合作关系,共同开发和推广 AI 加速器。


2019 年,Habana 推出了第一代 Gaudi 芯片,该产品基于 ASIC 技术,具有更高的性能和能效。同年 12 月,Habana 被英特尔收购。


早在 2015 年,英特尔就已经推出了第二代 Gaudi 加速器。该产品基于 7nm 工艺制造,采用了 Habana 的高能效架构,主要针对大型训练和大规模分布式训练应用场景。与 Gaudi 1 相比,Gaudi 2 的性能和功能都有所提升,同时支持更多的深度学习框架和算法,能够更好地满足人工智能应用的需求。


此次在北京发布会上官宣的 Gaudi 2,实际上是面向中国市场的“定制版”。据英特尔介绍,与国际通用版 Gaudi2 相比,中国市场的“定制版”在性能和功能上没有太大差异。


英特尔执行副总裁兼数据中心与人工智能事业部总经理 Sandra Rivera 指出,“英特尔致力于通过为客户提供广泛的硬件选择,并支持开放的软件环境,加速人工智能技术的发展。凭借包括至强可扩展处理器和 Gaudi2 深度学习加速器在内的产品组合,英特尔正在降低人工智能的准入门槛,并强化客户在云端通过网络和智能边缘部署这一关键业务技术的能力,从而帮助构建中国人工智能的未来。”


在 6 月公布的MLCommons® MLPerf®基准测试中,Gaudi2 加速器的性能得到了充分认证,其在 GPT-3 模型、计算机视觉模型 ResNet-50(使用 8 个加速器)、Unet3D(使用 8 个加速器),以及自然语言处理模型 BERT(使用 8 个和 64 个加速器)上均取得了优异的训练结果。Gaudi2 在帮助用户提升运营效率和降低运营成本方面表现不俗。

满足大语言和多模态模型的需求


Gaudi2 深度学习加速器的架构旨在高效扩展,以满足大规模语言模型及生成式 AI 模型的需求。其每张芯片集成了 21 个专用于内部互联的 100Gbps(RoCEv2 RDMA)以太网接口,从而实现低延迟服务器内扩展。


在 Stable Diffusion 训练上,Gaudi2 展示了从 1 张卡至 64 张卡近线性 99%的扩展性。此外,MLCommons 刚刚公布的 MLPerf 训练 3.0结果,亦验证了 Gaudi2 处理器在 1750 亿参数的 GPT-3 模型上,从 256 个加速器到 384 个加速器可实现接近线性 95%的扩展效果。

具备成熟的软件支持


伴随日益增长的生成式 AI 及大语言模型需求,英特尔也在充分释放 Gaudi2 深度学习加速器性能。


为支持客户轻松构建模型,或将当前基于 GPU 的模型业务和系统迁移到基于全新 Gaudi2 服务器,并帮助保护软件开发投入,SynapseAI®软件套件针对 Gaudi 平台深度学习业务进行了优化,旨在与广泛的软件生态系统一起,帮助简化模型的开发和迁移。SynapseAI 集成了对 TensorFlow 和 PyTorch 框架的支持,并提供众多流行的计算机视觉和自然语言参考模型,能够满足深度学习开发者的多样化需求。


目前,英特尔正与浪潮信息合作,打造并发售基于 Gaudi2 深度学习加速器的浪潮信息 AI 服务器 NF5698G7。该服务器集成了 8 颗 Gaudi2 加速卡 HL-225B,还包含双路第四代英特尔至强可扩展处理器。

2023-07-12 18:023077
用户头像
李冬梅 加V:busulishang4668

发布了 951 篇内容, 共 546.0 次阅读, 收获喜欢 1113 次。

关注

评论

发布
暂无评论
发现更多内容

SSH的工作原理、加密方式以及配置多个ssh key

甜点cc

前端 学习笔记 加密 SSH 10月月更

2022年最新数据库经典面试题及答案汇总(含PostgreSQL、Oracle、MySQL)

墨天轮

MySQL 数据库 oracle postgresql 面试题

使用Docker部署软件运行环境

源字节1号

软件开发 前端开发 后端开发 小程序开发

浅谈 Python 中的迭代器

何极光

Python 迭代器 10月月更

阿里云注册集群+Prometheus 解决多云容器集群运维痛点

阿里巴巴云原生

阿里云 云原生 Grafana Prometheus

精盾信息莅临千锋教育武汉校区招聘前端开发工程师

千锋IT教育

学C++的以后都能从事哪些岗位?

C++后台开发

c++ 后端开发 客户端开发 linux开发 C++开发

澜舟科技推出【熊猫小说家】小程序,用 AI 书写你的故事

澜舟孟子开源社区

人工智能 nlp AIGC

WhaleDI自助建模实践与探索

鲸品堂

AI Codec 建模

Sanitizers 系列之 address sanitizer 原理篇

网易云信

数据库 算法 系统

重磅,无需特殊工具,直接访问网站!

八点半的Bruce.D

一文浅析人工智能领域相关概念之间的关系

九章云极DataCanvas

人工智能 神经网络 机器学习

浅谈Python中的生成器

何极光

Python 生成器 10月月更

TOGAF认证考试开启“主线+支线+副本”模式!

涛哥 数字产品和业务架构

开源代码安全 | 微软是如何应对开源代码安全问题的?

龙智—DevSecOps解决方案

开源 开源代码

如何让 SAP Spartacus 访问 navigation node 的上下文,暴露更多的字段

阿英

typescript angular SAP Spartacus 10月月更

敢承诺安全效果?IT人竟能如此省心

科技热闻

半导体初创公司如何加速成功?

龙智—DevSecOps解决方案

IP IP管理

云原生时代的应用端到端可观测体系如何构建?

嘉为蓝鲸

运维 监控 可观测性 告警

【FAQ】关于华为地图服务定位存在偏差的原因及解决办法

HarmonyOS SDK

地图

嘉为蓝鲸可观测性产品获Gartner Toolkit 推荐

嘉为蓝鲸

运维 监控 Gartner 可观测

Zepoch已售出500+,Zebec Chain受到市场追捧

西柚子

千锋教育走访人才合作企业数式科技 深度了解企业人才需求

千锋IT教育

千锋武汉分校前端学员走访英志软件,并开展现场面试

千锋IT教育

Spring Boot「18」使用 JDBC 连接数据库

Samson

Java spring 学习笔记 spring-boot 10月月更

2022年汽车品牌智能网联竞争力指数(ICVCI)

易观分析

汽车 ICVCI 智能网联

Go语言入门10—Map

良猿

Go golang 后端 Go web

排障最后一公里,“融合”型的日志平台应该如何建设?

嘉为蓝鲸

运维 监控 日志 可观测性 告警

滴滴Java后台3面题目:网络+内存溢出+各种锁+高性能+消息队列

小小怪下士

Java spring 面试 JVM

uniapp 提示 打包时未添加 push模块

源字节1号

软件开发 前端开发 后端开发 小程序开发

DevOps下测试的生存之道

嘉为蓝鲸

DevOps 测试

为中国市场定制!英特尔发布7nm Gaudi2处理器,为深度学习训练和推理而生_英特尔_李冬梅_InfoQ精选文章