写点什么

Arm 发布全新 Armv9 边缘 AI 计算平台,可运行超 10 亿参数端侧 AI 模型

  • 2025-03-06
    北京
  • 本文字数:1304 字

    阅读完需:约 4 分钟

大小:738.75K时长:04:12
Arm发布全新Armv9边缘AI计算平台,可运行超10亿参数端侧AI模型

近日,Arm 正式发布了其全球首款 Armv9 边缘 AI 计算平台。据介绍,该平台以全新的 Arm Cortex-A320 CPU 和边缘 AI 加速器 Arm Ethos-U85 NPU 为核心,可支持运行超 10 亿参数的端侧 AI 模型。

Cortex-A320 与 Ethos-U85 的深度配合


全新发布的 Arm Cortex-A320 是 Arm 首款基于 Armv9 架构的超高能效 CPU,专为物联网应用优化,也是该全新计算平台的核心组件。与上一代 Cortex-A35 相比,Cortex-A320 在机器学习(ML)计算能力上提升了 10 倍,标量计算性能提高了 30%。同时其能效比较 Cortex-A520 提升了 50%。此外,Cortex-A320 支持四核共享集群,可根据不同需求灵活扩展,满足各种应用场景的需求。

 

作为此次边缘 AI 计算平台的另一核心,对 Transformer 网络具有原生支持的 Ethos-U85 NPU 是 Arm Ethos-U 产品线中的第三代 NPU。与前一代产品相比,该 NPU 的性能提升了四倍,能效提高了 20%,并且可在主流网络上实现高达 85%的利用率。

 

Cortex-A320 CPU 和 Ethos-U85 NPU 实现了深度配合:Cortex-A320 可以为 Ethos-U85 提供更高的内存容量与带宽,让大模型在 Ethos-U85 上的执行如虎添翼;任何开发者们不希望在 Ethos-U85 上运行的 AI 操作,可以回退到 Cortex-A320,利用其 Neon/SVE2 引擎更灵活有效地在 CPU 上执行。这使智能物联网与消费类电子生态系统能够在正确的时间,并在合适的地方运行最适合的工作负载。

 

与去年发布的基于 Cortex-M85 搭配 Ethos-U85 的平台相比,全新 Armv9 边缘 AI 计算平台的 ML 计算性能提升了 8 倍,带来了显著的 AI 计算能力突破,助力大模型与生成式 AI 在物联网领域的落地。

安全性增强与 AI 计算优化


值得一提的是,Cortex-A320 充分利用了 Armv9 增强的安全性和 AI 计算特性,这些特性此前已经在其他市场得到广泛应用,而 Arm 现在也将其引入物联网领域。

 

在安全性方面,Cortex-A320 引入了 Secure EL2,该特性增强了 TrustZone 内部的隔离性,支持更安全地运行软件容器;指针验证/分支目标识别(PACBTI)可有效缓解跳转和返回编程中的指针安全隐患;内存标记扩展(MTE)可通过内存标记机制,使黑客更难利用漏洞进行攻击,提高整体系统安全性。

 

在 AI 计算能力方面,增强的 Neon 和可伸缩向量扩展(SVE2)技术,可提供更高效的 ML 计算能力;支持 BFloat16 等新数据类型,提高了 AI 计算的精度和能效;而新增的矩阵乘法指令,优化了 AI 和 ML 计算性能,加速神经网络推理和训练任务。

 

去年,Arm 推出了 Kleidi 软件库,并将其引入了智能手机和服务器市场,它包含优化 AI 负载在 Arm CPU 上执行的 KleidiAI 和加速机器视觉的 KleidiCV。现在,Arm 将 Kleidi 扩展到了物联网。KleidiAI 是一套专为 AI 框架开发者设计的计算内核,让开发者可以无缝地在 Arm CPU 上获取最佳性能。它支持如 Neon 和 SVE2 等 Armv9 架构的关键特性,大幅提升了 AI 的计算效率。此外,KleidiAI 已经集成到多个主流 AI 框架,包括 Llama.cpp、ExecuTorch 和 LiteRT(通过 XNNPACK),可加速 Meta Llama 3 和 Phi-3 等主流 AI 大模型,进一步释放 AI 计算性能。

 

从 AI 发展初期开始,Arm 技术一直推动着边缘智能创新的发展轨迹。此次发布的全新 Armv9 边缘 AI 计算平台可覆盖多个应用场景,实现包括视觉和自然语言在内的多模态的环境感知与理解,进而运行智能体 AI、自主规划、执行复杂任务。展望未来,Arm 全新的边缘 AI 计算平台对物联网生态系统带来的影响值得期待。

 

2025-03-06 11:469657
用户头像
李冬梅 加V:busulishang4668

发布了 1041 篇内容, 共 654.4 次阅读, 收获喜欢 1204 次。

关注

评论

发布
暂无评论

四、《图解HTTP》- 状态码

懒时小窝

HTTP 状态码 图解https

Java将PDF拆分为多个 PDF 文件

在下毛毛雨

Java PDF 拆分PDF

N、《图解HTTP》读书笔记 - 附录

懒时小窝

资料 图解https 参考数据

干货合集 | 关于制品库,你了解多少?

嘉为蓝鲸

DevOps 研发 制品库

三、《图解HTTP》- 报文内的 HTTP信息

懒时小窝

HTTP 图解https

ASP.NET Core SignalR概述

辣么大

.net SignalR 8月月更

二、《图解HTTP》- HTTP协议历史发展(重点)

懒时小窝

HTTP 图解https

共建共享数字世界的根:阿里云打造全面的云原生开源生态

阿里巴巴云原生

阿里云 开源 容器 RocketMQ 云原生

新零售标杆 SKG 全面拥抱 Serverless,实现敏捷交付

阿里巴巴云原生

阿里云 Serverless 云原生 合作案例

Linux实用命令lsof命令

flow

8月月更

【SimpleFunction系列二.3】Redisson分布式锁8种锁模式剖析

莫逸风

分布式锁 redisson 分布式锁

私有化输出的服务网格我们是这样做的

阿里巴巴云原生

阿里云 Kubernetes 云原生 服务网格

七、《图解HTTP》- HTTP首部和HTTP协作服务器

懒时小窝

HTTP 图解https

开源一夏 | AngularJS对于SQL的操作心得以及DOM的研究

恒山其若陋兮

开源 8月月更

MobTech ShareSDK 使用简介

MobTech袤博科技

开发者 sdk MobTech袤博科技

Python图像处理丨带你掌握图像几何变换

华为云开发者联盟

Python 人工智能

巨细靡遗流程控制,Go lang1.18入门精炼教程,由白丁入鸿儒,Go lang流程结构详解EP09

刘悦的技术博客

Go 教程 Go web go语言 Go 语言

【计算讲谈社】第八讲:AI 技术的“纺织业”是什么?

大咖说

人工智能 商业化

C#/VB.NET:在不同Excel工作簿之间复制单元格区域和工作表

Geek_249eec

C# Excel VB.NET 单元格区域 工作表

六、《图解HTTP》- 用户身份认证

懒时小窝

HTTP 图解https

终、《图解HTTP》读书笔记 - 汇总篇(总结)

懒时小窝

读书笔记 读书 HTTP 图解https #读书

注册配置、微服务治理、云原生网关三箭齐发,阿里云 MSE 持续升级

阿里巴巴云原生

阿里云 微服务 云原生 网关

王熙凤穿越到 2022 年,一定会采购的单点登录服务

Authing

五、《图解HTTP》- RSS和网络攻击

懒时小窝

HTTP 图解https

开源一夏 | 使用 JavaScript 的响应式计数器动画

海拥(haiyong.site)

开源 8月月更

【SimpleFunction系列二.2】SpringBoot注解整合Redisson分布式锁

莫逸风

分布式锁 redisson 分布式锁 企业级应用

场景品牌易观千帆,助力数智化需求持续升级

易观分析

数字经济 数智化

动手实操,让你的 Kubernetes 集群弹起来!

以尘

弹性 ACK Kubernetes 集群 ClusterAutoscaler Erda

高效能团队的Java研发规范(进阶版)

木小风

编程规范 Java core

GitLab 自动删除项目?仅需四步,丝滑迁移至极狐GitLab

极狐GitLab

git DevOps gitlab 敏捷开发 极狐GitLab

Arm发布全新Armv9边缘AI计算平台,可运行超10亿参数端侧AI模型_芯片&算力_李冬梅_InfoQ精选文章