时隔16年Jeff Barr重返10.23-25 QCon上海站,带你看透AI如何重塑软件开发! 了解详情
写点什么

最高配 128 核!英特尔至强 6 性能核处理器发布:运行 Llama2-7B 快了 3.08 倍

  • 2024-09-27
    北京
  • 本文字数:971 字

    阅读完需:约 3 分钟

大小:527.60K时长:03:00
最高配128核!英特尔至强6性能核处理器发布:运行Llama2-7B 快了3.08倍

“英特尔至强 6 性能核,将是英特尔有史以来性能最强大的至强处理器。”英特尔数据中心与人工智能集团副总裁、中国区总经理陈葆立在 9 月 6 日的发布会上说道。

 

英特尔本次宣布上市的至强 6900P 系列处理器(代号 Granite Rapids-AP),最高配备 128 个内核,支持高达每秒 6400MT 的 DDR5 内存、每秒 8800MT 的 MRDIMM 内存、6 条 UPI 2.0 链路(速率高达每秒 24 GT),96 条 PCIe 5.0 或 64 条 CXL 2.0 通道、504MB 的 L3 缓存,支持 FP16 数据格式的英特尔® 高级矩阵扩展(英特尔® AMX),可为 AI 和科学计算等内存带宽敏感型工作负载提供 MRDIMM 选择,且新增对 CXL 2.0 的支持。


 英特尔至强 6900P 系列具备三个计算单元和两个 IO 单元,其中计算单元里包含了最重要的 X86 内核、内存控制器和缓存,I/O 单元里面包含了 PCle、CXL、UPI 等通用协议,也包括了英特尔独有的加速器。

 


“性能装备从 64 核到 128 核,单核性能 1.2 倍提升,每一个核都比以前更快。上一代平台所需电量是 350 瓦,这一代需要更多的供电(500 瓦),但我们在增加 30%功耗的情况下,算力却拥有了双倍提升。所以我们相信,在综合考量范围下,我们能够跟厂商打造一个更新、更强大、更高效的平台,并帮助最终用户降低 30%的 TCO。”陈葆立说道。    

 

英特尔至强 6 性能核的处理器测试运行了 12 种不同的常见工作负载,包括通用计算、数据库、科学计算、AI 大模型(包括 Llama2,Llama3 )等,结果显示,单颗 CPU 性能和每瓦特性能与上一代产品相比快了两倍以上。值得注意的是,70 亿参数的 Llama2 大模型推理在 AMX 加速下,至强 6 处理器相比前一代有了 3.08 倍的提升。


 

MRDIMM 是业界备受关注的领先内存技术,利用组装其上的数据缓冲区,实现两个列的同步操作,从而允许一次向 CPU 传输 128 字节的数据,而传统 DRAM 模块一次传输 64 字节。英特尔至强 6 性能核处理器,一个是使用标配 6400MT/s,一个是使用更快的 MRDIMM 内存,对内存非常敏感的工作负载,包括科学计算、AI 等,有 1.2-1.3 倍的提升。

 


 另外,CXL 也是英特尔发起的一个全新的技术,通过 CXL 扩展可以在数据库或者大内存的场景里支持更多、更大的内存。当前,英特尔 CXL 2.0 支持多种设备类型(Type 1、Type 2 和

Type 3)且可向后兼容 CXL 1.1;支持链路分叉 (link bifurcation),即使一个主机端口

可以对接多个设备;提供更强的 CXL 内存 (Type 3) 分层支持,可实现容量和带宽扩展,同时支持以受控热插拔的方式添加/移除设备。

2024-09-27 15:1112149

评论

发布
暂无评论
发现更多内容

【重磅干货】如何构建 API 生态促进企业上下游合作

石臻臻的杂货铺

API

你的企业IM安全吗?对于私有化的即时通讯软件你了解多少?

BeeWorks

携手 StarRocks 打造极速统一数据底座,理想汽车获 DAMA 中国 “数据治理最佳实践奖”

StarRocks

教你用JavaScript实现随机点名器

小院里的霍大侠

JavaScript 初学者 入门实战

中移链已在BSN-DDC基础网络上线元交易功能

BSN研习社

BSN-DDC

火山引擎DataTester上线“流程画布”功能,支持组合型A/B实验分析

字节跳动数据平台

大数据 AB testing实战 12 月 PK 榜

大数据开发培训机构有哪些?

小谷哥

“自动驾驶+昇腾AI” 西安交大团队解决高级辅助驾驶的关键难题

极客天地

带你玩转OpenHarmony AI:打造智能语音子系统

OpenHarmony开发者

OpenHarmony

如何保证设计出合理的架构1-4

程序员小张

「架构实战营」

扬州万方:基于申威平台的 Curve 块存储在高性能和超融合场景下的实践

网易数帆

nvme 分布式存储 curve 12 月 PK 榜

科班出生和培训出身的前端程序员哪个好?

小谷哥

JAVA培训学习后就业好吗

小谷哥

【12.16-12.23】写作社区优秀技术博文一览

InfoQ写作社区官方

热门活动

Java本地高性能缓存实践

阿里技术

cache 本地缓存 缓存Java

AI技术实践|用腾讯云智能文本图像增强打造一个掌上扫描仪

牵着蜗牛去散步

人工智能 腾讯云 文字识别 图像处理

一文掌握MyBatis的动态SQL使用与原理

华为云开发者联盟

sql 开发 华为云 12 月 PK 榜

阿里灵杰:与开发者一起推动AI创新落地

阿里云大数据AI技术

人工智能 阿里云 开发者 AI技术

Dubbo架构设计与源码解析(三)责任链模式

京东科技开发者

dubbo 过滤器 filter 责任链 provider

搭建"积木"=编程?

间隔

金融科技 DevOps 的最佳实践

SEAL安全

DevOps 最佳实践 FinTech 12 月 PK 榜

WorkPlus助力中交四航局打造数字化管理新模式,释放企业生产力

BeeWorks

BitSail issue持续更新中,快来挑战,赢取千元礼品!

字节跳动数据平台

大数据 开源 12 月 PK 榜

百度工程师教你玩转设计模式(装饰器模式)

百度Geek说

Java 设计模式 12 月 PK 榜 装饰器模式

敏捷价值流管理

敏捷开发

敏捷 敏捷开发 价值流 价值流管理

培训学习大数据门槛低吗

小谷哥

前端培训学习后好就业吗?

小谷哥

企业IM软件WorkPlus,组织高效协作与一体化办公首选

BeeWorks

借力 StarRocks,"陆战之王" 大润发如何在零售业数字化转型中抢占先机?

StarRocks

数据分析 零售

开源工具系列1:Cloud Custodian

HummerCloud

云计算 云安全

最高配128核!英特尔至强6性能核处理器发布:运行Llama2-7B 快了3.08倍_AI&大模型_褚杏娟_InfoQ精选文章