写点什么

最高配 128 核!英特尔至强 6 性能核处理器发布:运行 Llama2-7B 快了 3.08 倍

  • 2024-09-27
    北京
  • 本文字数:971 字

    阅读完需:约 3 分钟

大小:527.60K时长:03:00
最高配128核!英特尔至强6性能核处理器发布:运行Llama2-7B 快了3.08倍

“英特尔至强 6 性能核,将是英特尔有史以来性能最强大的至强处理器。”英特尔数据中心与人工智能集团副总裁、中国区总经理陈葆立在 9 月 6 日的发布会上说道。

 

英特尔本次宣布上市的至强 6900P 系列处理器(代号 Granite Rapids-AP),最高配备 128 个内核,支持高达每秒 6400MT 的 DDR5 内存、每秒 8800MT 的 MRDIMM 内存、6 条 UPI 2.0 链路(速率高达每秒 24 GT),96 条 PCIe 5.0 或 64 条 CXL 2.0 通道、504MB 的 L3 缓存,支持 FP16 数据格式的英特尔® 高级矩阵扩展(英特尔® AMX),可为 AI 和科学计算等内存带宽敏感型工作负载提供 MRDIMM 选择,且新增对 CXL 2.0 的支持。


 英特尔至强 6900P 系列具备三个计算单元和两个 IO 单元,其中计算单元里包含了最重要的 X86 内核、内存控制器和缓存,I/O 单元里面包含了 PCle、CXL、UPI 等通用协议,也包括了英特尔独有的加速器。

 


“性能装备从 64 核到 128 核,单核性能 1.2 倍提升,每一个核都比以前更快。上一代平台所需电量是 350 瓦,这一代需要更多的供电(500 瓦),但我们在增加 30%功耗的情况下,算力却拥有了双倍提升。所以我们相信,在综合考量范围下,我们能够跟厂商打造一个更新、更强大、更高效的平台,并帮助最终用户降低 30%的 TCO。”陈葆立说道。    

 

英特尔至强 6 性能核的处理器测试运行了 12 种不同的常见工作负载,包括通用计算、数据库、科学计算、AI 大模型(包括 Llama2,Llama3 )等,结果显示,单颗 CPU 性能和每瓦特性能与上一代产品相比快了两倍以上。值得注意的是,70 亿参数的 Llama2 大模型推理在 AMX 加速下,至强 6 处理器相比前一代有了 3.08 倍的提升。


 

MRDIMM 是业界备受关注的领先内存技术,利用组装其上的数据缓冲区,实现两个列的同步操作,从而允许一次向 CPU 传输 128 字节的数据,而传统 DRAM 模块一次传输 64 字节。英特尔至强 6 性能核处理器,一个是使用标配 6400MT/s,一个是使用更快的 MRDIMM 内存,对内存非常敏感的工作负载,包括科学计算、AI 等,有 1.2-1.3 倍的提升。

 


 另外,CXL 也是英特尔发起的一个全新的技术,通过 CXL 扩展可以在数据库或者大内存的场景里支持更多、更大的内存。当前,英特尔 CXL 2.0 支持多种设备类型(Type 1、Type 2 和

Type 3)且可向后兼容 CXL 1.1;支持链路分叉 (link bifurcation),即使一个主机端口

可以对接多个设备;提供更强的 CXL 内存 (Type 3) 分层支持,可实现容量和带宽扩展,同时支持以受控热插拔的方式添加/移除设备。

2024-09-27 15:1111666

评论

发布
暂无评论
发现更多内容

软件测试/测试开发丨Python Debug 调试与分析

测试人

Python 程序员 debug 软件测试 测试开发

交易所开发中心化交易所与去中心化交易所

区块链软件开发推广运营

数字藏品开发 dapp开发 区块链开发 交易所源码 NFT开发

GaussDB技术解读丨数据库迁移创新实践

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号9月PK榜

用友iuap数据中台,让数据成为企业价值资产,驱动业务持续创新

用友BIP

2023全球商业创新大会 升级数智底座

创新未来的智能数据生成

百度开发者中心

人工智能 ChatGPT 生成式AI

酷克数据推出AI开发工具箱HashML 加速企业级AI应用落地投产

酷克数据HashData

一切为了开发者,9月16日,重大信息即将发布,敬请期待

LAVAL社区小助手

数智化时代,企业如何深度推进业财融合?

用友BIP

业财融合 2023全球商业创新大会

公链开发联盟链开发区块链浏览器开发钱包开发

区块链软件开发推广运营

数字藏品开发 dapp开发 区块链开发 链游开发 公链开发

如何加快跨国传输大文件的速度?

镭速

跨国传输大文件

一体化打通销售到项目交付 项目型营销更在行

用友BIP

项目云 数智营销

聊聊GaussDB AP是如何执行SQL的

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号9月PK榜

MES系统详细介绍

万界星空科技

MES系统

软件测试|测试平台后端开发Flask操作数据库-多对多

霍格沃兹测试开发学社

MatrixOne WAL设计解析

MatrixOrigin

分布式数据库 云原生数据库 MatrixOrigin MatrixOne HTAP数据库

企业大数据平台建设七大场景,看这本指南就够了

极客天地

js 高精度计算 - decimal.js 库

程序员海军

JavaScript 精度 高精度计算

提高生产力,创新工作方式

百度开发者中心

人工智能 ChatGPT 生成式AI 文心一言

自动创作新内容的人工智能

百度开发者中心

人工智能 数据可视化 生成式AI 文心一言

自动化性能测试的理解误区

老张

性能测试 自动化测试 性能基线

软件测试|缺陷的生命周期是怎么样的

霍格沃兹测试开发学社

人工智能新范式,创新生产力崛起

百度开发者中心

人工智能 数据分析、 ChatGPT 文心一言

从数据出发,构建可信赖的生成式AI应用

百度开发者中心

人工智能 数据分析 千帆大模型平台

ClickHouse 存算分离改造:小红书自研云原生数据仓库实践

小红书技术REDtech

数据仓库 云原生 OLAP Clickhouse 存算分离

新华网专访王文京:向全球前三的企业数智化平台迈进

用友BIP

2023全球商业创新大会

软件测试|测试平台开发Flask操作数据库-ORM

霍格沃兹测试开发学社

软件测试|测试平台后端开发Flask操作数据库-数据CRUD(增删改查)

霍格沃兹测试开发学社

Python从0到1丨详解图像锐化的Sobel、Laplacian算子

华为云开发者联盟

Python 人工智能 华为云 华为云开发者联盟 企业号9月PK榜

如何解决基因行业海量数据传输难题?镭速传输给出答案

镭速

大数据传输

最高配128核!英特尔至强6性能核处理器发布:运行Llama2-7B 快了3.08倍_AI&大模型_褚杏娟_InfoQ精选文章