写点什么

最高配 128 核!英特尔至强 6 性能核处理器发布:运行 Llama2-7B 快了 3.08 倍

  • 2024-09-27
    北京
  • 本文字数:971 字

    阅读完需:约 3 分钟

大小:527.60K时长:03:00
最高配128核!英特尔至强6性能核处理器发布:运行Llama2-7B 快了3.08倍

“英特尔至强 6 性能核,将是英特尔有史以来性能最强大的至强处理器。”英特尔数据中心与人工智能集团副总裁、中国区总经理陈葆立在 9 月 6 日的发布会上说道。

 

英特尔本次宣布上市的至强 6900P 系列处理器(代号 Granite Rapids-AP),最高配备 128 个内核,支持高达每秒 6400MT 的 DDR5 内存、每秒 8800MT 的 MRDIMM 内存、6 条 UPI 2.0 链路(速率高达每秒 24 GT),96 条 PCIe 5.0 或 64 条 CXL 2.0 通道、504MB 的 L3 缓存,支持 FP16 数据格式的英特尔® 高级矩阵扩展(英特尔® AMX),可为 AI 和科学计算等内存带宽敏感型工作负载提供 MRDIMM 选择,且新增对 CXL 2.0 的支持。


 英特尔至强 6900P 系列具备三个计算单元和两个 IO 单元,其中计算单元里包含了最重要的 X86 内核、内存控制器和缓存,I/O 单元里面包含了 PCle、CXL、UPI 等通用协议,也包括了英特尔独有的加速器。

 


“性能装备从 64 核到 128 核,单核性能 1.2 倍提升,每一个核都比以前更快。上一代平台所需电量是 350 瓦,这一代需要更多的供电(500 瓦),但我们在增加 30%功耗的情况下,算力却拥有了双倍提升。所以我们相信,在综合考量范围下,我们能够跟厂商打造一个更新、更强大、更高效的平台,并帮助最终用户降低 30%的 TCO。”陈葆立说道。    

 

英特尔至强 6 性能核的处理器测试运行了 12 种不同的常见工作负载,包括通用计算、数据库、科学计算、AI 大模型(包括 Llama2,Llama3 )等,结果显示,单颗 CPU 性能和每瓦特性能与上一代产品相比快了两倍以上。值得注意的是,70 亿参数的 Llama2 大模型推理在 AMX 加速下,至强 6 处理器相比前一代有了 3.08 倍的提升。


 

MRDIMM 是业界备受关注的领先内存技术,利用组装其上的数据缓冲区,实现两个列的同步操作,从而允许一次向 CPU 传输 128 字节的数据,而传统 DRAM 模块一次传输 64 字节。英特尔至强 6 性能核处理器,一个是使用标配 6400MT/s,一个是使用更快的 MRDIMM 内存,对内存非常敏感的工作负载,包括科学计算、AI 等,有 1.2-1.3 倍的提升。

 


 另外,CXL 也是英特尔发起的一个全新的技术,通过 CXL 扩展可以在数据库或者大内存的场景里支持更多、更大的内存。当前,英特尔 CXL 2.0 支持多种设备类型(Type 1、Type 2 和

Type 3)且可向后兼容 CXL 1.1;支持链路分叉 (link bifurcation),即使一个主机端口

可以对接多个设备;提供更强的 CXL 内存 (Type 3) 分层支持,可实现容量和带宽扩展,同时支持以受控热插拔的方式添加/移除设备。

2024-09-27 15:1112178

评论

发布
暂无评论
发现更多内容

C# LINQ 快速入门实战指南,建议收藏学习!

电子尖叫食人鱼

C#

供应链复杂、工厂分散,半导体行业如何安全访问总部ERP系统?

贝锐

内网穿透 ERP

VMware ESXi 8.0U3e macOS Unlocker & OEM BIOS 2.7 集成网卡驱动和 NVMe 驱动 (集成驱动版)

sysin

esxi

Android 16 应用适配指南

冉冉同学

android 安卓

“新E代弯道王”MAZDA EZ-6鹭羽白内饰焕新

科技热闻

Apache DolphinScheduler社区答疑Star第一期评选结果公示

白鲸开源

开源 Apache DolphinScheduler

BeeWorks:高效协作的局域网聊天工具

BeeWorks

即时通讯 IM 私有化部署 企业级应用

高清视频会议系统BeeWorks Meet,支持私有化部署

BeeWorks

即时通讯 IM 私有化部署 局域网视频软件

“新E代弯道王”MAZDA EZ-6鹭羽白内饰焕新

极客天地

VMware ESXi 8.0U3e macOS Unlocker & OEM BIOS 2.7 标准版和厂商定制版

sysin

esxi

IDM 下载器使用教程,idm破解版永久激活码,idm中文汉化补丁工具

阿拉灯神丁

网络加速 下载器 IDM idm下载

PGRX for Cloudberry 开源,pgvector for Cloudberry 升级到 0.8.0

酷克数据HashData

Palo Alto Cortex XSOAR 8.8 for ESXi - 安全编排、自动化和响应 (SOAR) 平台

sysin

palo alto

如何使用AI辅助开发CSS3 - 通义灵码功能全解析

阿里云云效

如何使用AI辅助开发R语言

阿里云云效

从 DB-Engines 排名攀升看 TiDB 全球突破之路

PingCAP

人工智能 数据库 TiDB

中烟创新入选2025全国企业“人工智能+”行动创新案例TOP100

中烟创新

页面加载提速37.9%,“凯叔讲故事”做了什么

HarmonyOS SDK

harmoyos

蔚来汽车智能座舱接入通义大模型,并使用通义灵码全面提效

阿里巴巴云原生

DeepSeek :中国 AI 如何用 “小米加步枪” 逆袭硅谷

GPU算力

数字化转型 #大模型 PC集群 DeepSeek DeepSeek R1 模型

如何使用AI辅助开发R语言

阿里巴巴云原生

R语言

蔚来汽车智能座舱接入通义大模型,并使用通义灵码全面提效

阿里云云效

下一代数据架构全景:云原生实践、行业解法与 AI 底座 | Databend Meetup 成都站回顾

Databend

C# 使用通义灵码 - AI 助力 Visual Studio 开发

阿里巴巴云原生

C#

C# 使用通义灵码 - AI 助力 Visual Studio 开发

阿里云云效

干货分享!MCP 实现原理,小白也能看懂

王磊

VMware ESXi 8.0U3e 发布下载 - 领先的裸机 Hypervisor

sysin

esxi

手把手教你安装部署金仓数据库KingbaseES

金仓技术

数据库 电科金仓 KingbaseES 金仓数据库

如何使用AI辅助开发CSS3 - 通义灵码功能全解析

阿里巴巴云原生

css3

VMware vCenter Server 8.0U3e 发布 - 集中管理 vSphere 环境

sysin

vcenter

VMware vSphere 8.0 Update 3e 下载 - 企业级工作负载平台

sysin

vSphere

最高配128核!英特尔至强6性能核处理器发布:运行Llama2-7B 快了3.08倍_AI&大模型_褚杏娟_InfoQ精选文章