写点什么

最高配 128 核!英特尔至强 6 性能核处理器发布:运行 Llama2-7B 快了 3.08 倍

  • 2024-09-27
    北京
  • 本文字数:971 字

    阅读完需:约 3 分钟

大小:527.60K时长:03:00
最高配128核!英特尔至强6性能核处理器发布:运行Llama2-7B 快了3.08倍

“英特尔至强 6 性能核,将是英特尔有史以来性能最强大的至强处理器。”英特尔数据中心与人工智能集团副总裁、中国区总经理陈葆立在 9 月 6 日的发布会上说道。

 

英特尔本次宣布上市的至强 6900P 系列处理器(代号 Granite Rapids-AP),最高配备 128 个内核,支持高达每秒 6400MT 的 DDR5 内存、每秒 8800MT 的 MRDIMM 内存、6 条 UPI 2.0 链路(速率高达每秒 24 GT),96 条 PCIe 5.0 或 64 条 CXL 2.0 通道、504MB 的 L3 缓存,支持 FP16 数据格式的英特尔® 高级矩阵扩展(英特尔® AMX),可为 AI 和科学计算等内存带宽敏感型工作负载提供 MRDIMM 选择,且新增对 CXL 2.0 的支持。


 英特尔至强 6900P 系列具备三个计算单元和两个 IO 单元,其中计算单元里包含了最重要的 X86 内核、内存控制器和缓存,I/O 单元里面包含了 PCle、CXL、UPI 等通用协议,也包括了英特尔独有的加速器。

 


“性能装备从 64 核到 128 核,单核性能 1.2 倍提升,每一个核都比以前更快。上一代平台所需电量是 350 瓦,这一代需要更多的供电(500 瓦),但我们在增加 30%功耗的情况下,算力却拥有了双倍提升。所以我们相信,在综合考量范围下,我们能够跟厂商打造一个更新、更强大、更高效的平台,并帮助最终用户降低 30%的 TCO。”陈葆立说道。    

 

英特尔至强 6 性能核的处理器测试运行了 12 种不同的常见工作负载,包括通用计算、数据库、科学计算、AI 大模型(包括 Llama2,Llama3 )等,结果显示,单颗 CPU 性能和每瓦特性能与上一代产品相比快了两倍以上。值得注意的是,70 亿参数的 Llama2 大模型推理在 AMX 加速下,至强 6 处理器相比前一代有了 3.08 倍的提升。


 

MRDIMM 是业界备受关注的领先内存技术,利用组装其上的数据缓冲区,实现两个列的同步操作,从而允许一次向 CPU 传输 128 字节的数据,而传统 DRAM 模块一次传输 64 字节。英特尔至强 6 性能核处理器,一个是使用标配 6400MT/s,一个是使用更快的 MRDIMM 内存,对内存非常敏感的工作负载,包括科学计算、AI 等,有 1.2-1.3 倍的提升。

 


 另外,CXL 也是英特尔发起的一个全新的技术,通过 CXL 扩展可以在数据库或者大内存的场景里支持更多、更大的内存。当前,英特尔 CXL 2.0 支持多种设备类型(Type 1、Type 2 和

Type 3)且可向后兼容 CXL 1.1;支持链路分叉 (link bifurcation),即使一个主机端口

可以对接多个设备;提供更强的 CXL 内存 (Type 3) 分层支持,可实现容量和带宽扩展,同时支持以受控热插拔的方式添加/移除设备。

2024-09-27 15:1112215

评论

发布
暂无评论
发现更多内容

透彻理解AQS源码分析系列之AQS基础二

InfoQ_d2212957090d

oeasy教您玩转linux010206 蒸汽机车 sl

o

握草,你竟然在代码里下毒!

小傅哥

Java 程序员 小傅哥 bug 有毒代码

学习 Java,有什么书籍推荐?学习的方法和过程是怎样的?

沉默王二

Java 学习 程序员 书单

你问我答:容器平台改造后的安全是如何解决的?

BoCloud博云

云计算 容器 微服务 PaaS 博云

[翻译] Go Concurrency Patterns: Pipelines and cancellation[Go并发模式]

卓丁

channel pipeline

甲方日常 8

句子

工作 随笔杂谈 日常

用函数式写法精简Java代码的一个例子

Sean

Java 函数式编程

从湖南“软硬兼施”,管窥三湘水畔的智能浪潮

脑极体

LeetCode题解:239. 滑动窗口最大值,单调队列,JavaScript,详细注释

Lee Chen

大前端 LeetCode

3. 站在使用层面,Bean Validation这些标准接口你需要烂熟于胸

YourBatman

Hibernate-Validator Bean Validation 数据校验

读后感之《任正非:以客户为中心》

王新涵

架构师训练营第十三周总结

张明森

给DevOps加点料——融入安全性的DevSecOps

禅道项目管理

DevOps 运维 测试 开发 安全性

不支持原子性的 Redis 事务也叫事务吗?

大头星

Java redis 事务

阿里巴巴发布国内首个公益区块链标准 用技术让公益公开透明

CECBC

区块链 公益

Go: gops如何与Go运行时交互?

陈思敏捷

gops Go 语言

ARTS打卡 第15周

引花眠

微服务 ARTS 打卡计划

Golang Package sync 透析

卓丁

sync Go 语言

2020-09-03-第十三周学习总结

路易斯李李李

商业通识 : 商业为什么能进步?

Walker

学习 得到 个人成长 商业

ARTS Week15

时之虫

ARTS 打卡计划

程序的机器级表示-数组的分配和访问

引花眠

计算机基础

拥抱K8S系列-05-基于docker部署面临的问题

张无忌

Docker 运维

给大家介绍下,这是我的流程图软件 —— draw.io

程序员小航

工具 流程图 draw.io drawio-desktop 画图软件

一点思考|工作十几年了,竟从未用过do-while!

王磊

Java

实战解读丨Linux下实现高并发socket最大连接数的配置方法

华为云开发者联盟

Linux TCP socket 高并发

深入理解JVM垃圾回收机制 - GC Roots枚举

Skye

GC Roots枚举 安全点 安全区域 OopMap

翻转链表,机器学习视觉训练,对数据的人工标注,使信息丢失,John 易筋 ARTS 打卡 Week 16

John(易筋)

大数据 学习 ARTS 打卡计划 翻转链表 Google论文评判人工预处理

Spring 5 中文解析测试篇-Spring测试

青年IT男

Spring5 JUnit

有奖征文重磅来袭,来!一起玩把大的!

有只小耳朵

最高配128核!英特尔至强6性能核处理器发布:运行Llama2-7B 快了3.08倍_AI&大模型_褚杏娟_InfoQ精选文章