免费注册!6月19-20日,「亚马逊云科技中国峰会」重磅来袭! 了解详情
写点什么

最高配 128 核!英特尔至强 6 性能核处理器发布:运行 Llama2-7B 快了 3.08 倍

  • 2024-09-27
    北京
  • 本文字数:971 字

    阅读完需:约 3 分钟

大小:527.60K时长:03:00
最高配128核!英特尔至强6性能核处理器发布:运行Llama2-7B 快了3.08倍

“英特尔至强 6 性能核,将是英特尔有史以来性能最强大的至强处理器。”英特尔数据中心与人工智能集团副总裁、中国区总经理陈葆立在 9 月 6 日的发布会上说道。

 

英特尔本次宣布上市的至强 6900P 系列处理器(代号 Granite Rapids-AP),最高配备 128 个内核,支持高达每秒 6400MT 的 DDR5 内存、每秒 8800MT 的 MRDIMM 内存、6 条 UPI 2.0 链路(速率高达每秒 24 GT),96 条 PCIe 5.0 或 64 条 CXL 2.0 通道、504MB 的 L3 缓存,支持 FP16 数据格式的英特尔® 高级矩阵扩展(英特尔® AMX),可为 AI 和科学计算等内存带宽敏感型工作负载提供 MRDIMM 选择,且新增对 CXL 2.0 的支持。


 英特尔至强 6900P 系列具备三个计算单元和两个 IO 单元,其中计算单元里包含了最重要的 X86 内核、内存控制器和缓存,I/O 单元里面包含了 PCle、CXL、UPI 等通用协议,也包括了英特尔独有的加速器。

 


“性能装备从 64 核到 128 核,单核性能 1.2 倍提升,每一个核都比以前更快。上一代平台所需电量是 350 瓦,这一代需要更多的供电(500 瓦),但我们在增加 30%功耗的情况下,算力却拥有了双倍提升。所以我们相信,在综合考量范围下,我们能够跟厂商打造一个更新、更强大、更高效的平台,并帮助最终用户降低 30%的 TCO。”陈葆立说道。    

 

英特尔至强 6 性能核的处理器测试运行了 12 种不同的常见工作负载,包括通用计算、数据库、科学计算、AI 大模型(包括 Llama2,Llama3 )等,结果显示,单颗 CPU 性能和每瓦特性能与上一代产品相比快了两倍以上。值得注意的是,70 亿参数的 Llama2 大模型推理在 AMX 加速下,至强 6 处理器相比前一代有了 3.08 倍的提升。


 

MRDIMM 是业界备受关注的领先内存技术,利用组装其上的数据缓冲区,实现两个列的同步操作,从而允许一次向 CPU 传输 128 字节的数据,而传统 DRAM 模块一次传输 64 字节。英特尔至强 6 性能核处理器,一个是使用标配 6400MT/s,一个是使用更快的 MRDIMM 内存,对内存非常敏感的工作负载,包括科学计算、AI 等,有 1.2-1.3 倍的提升。

 


 另外,CXL 也是英特尔发起的一个全新的技术,通过 CXL 扩展可以在数据库或者大内存的场景里支持更多、更大的内存。当前,英特尔 CXL 2.0 支持多种设备类型(Type 1、Type 2 和

Type 3)且可向后兼容 CXL 1.1;支持链路分叉 (link bifurcation),即使一个主机端口

可以对接多个设备;提供更强的 CXL 内存 (Type 3) 分层支持,可实现容量和带宽扩展,同时支持以受控热插拔的方式添加/移除设备。

2024-09-27 15:1111622

评论

发布
暂无评论
发现更多内容

软通动力启动鲲鹏原生应用开发合作

彭飞

QT项目第一弹-自定义日志输出

springIce

日志 qt

Total Video Converter Pro超级转霸 mac破解版 视频格式转换

Rose

Endurance for Mac 专业苹果mac电脑 电池续航提升工具

Rose

恒安嘉新启动鲲鹏原生应用开发合作

彭飞

mac/win Animate 2021新功能 (An 2021中文直装版安装)

Rose

DataCanvas会员中心正式上线,这些新春福利请接住!

九章云极DataCanvas

SwitchResX for Mac v4.13.3 正式版 自定义苹果电脑分辨率

Rose

Minitab Express数据分析适合什么人群?minitab express mac破解资源

Rose

听GPT 讲Rust Cargo源代码(5)

fliter

听GPT 讲Rust Cargo源代码(6)

fliter

灵伴科技(Rokid)借助 Knative 实现 AI 应用云原生 Serverless 化

阿里巴巴云原生

阿里云 云原生 云原生容器

FX影视特效3D动画渲染工具SideFX Houdini安装破解教程

Rose

reallusion卡通动画师最新下载 Cartoon Animator mac破解中文版

Rose

幻兽帕鲁服务器搭建攻略:阿里云平台快速上手指南

全栈若城

DJ必备:djay - DJ 应用&混音器 (djay pro Ai 激活版mac下载)

Rose

Casper Network加入Web3 领域 “Shark Tank” 的《Killer Whales》

股市老人

深入理解 Java 变量类型、声明及应用

小万哥

Java 程序人生 编程语言 软件工程 后端开发

AI for Science,开启智能科学时代!

脑极体

AI

PHP 增量代码规范 PHPCS 通过极狐 GitLab CI 平滑落地

极狐GitLab

《计算机程序的构造和解释(原书第2版)》PDF

程序员李木子

MacBooster 8 mac版:一站式系统清理维护工具

Rose

【亿级数据专题】「分布式消息引擎」 盘点本年度我们探索服务的HA高可用解决方案

码界西柚

分布式 高可用 ha 优化技术 2024年第二十九篇文章

思考-RBAC中对于权限编码部分的压缩处理(RoaringBitmap)

alexgaoyh

Java 位图 BitMap Roaringbitmap 位图压缩

Pyth 预言机: 它们如何影响Hover?

股市老人

10000+AI绘画关键词-涵盖Mid和StableDiffusion

Geek_bbbdb0

5G-A华彩开局,风流还看北京城

脑极体

通信

GreatSQL荣获2023 InfoQ“技术生态构建奖” 助力行业变革之路

GreatSQL

最高配128核!英特尔至强6性能核处理器发布:运行Llama2-7B 快了3.08倍_AI&大模型_褚杏娟_InfoQ精选文章