写点什么

边端 AI 不只缺算力:安谋科技重做 CPU、NPU、VPU 与 AI 操作系统

  • 2026-07-19
    北京
  • 本文字数:4764 字

    阅读完需:约 16 分钟

AI摘要

安谋科技在WAIC 2026发布面向端侧AI的四大技术线,聚焦功耗、内存与散热约束下的本地AI基础设施构建。其核心并非模型压缩,而是从CPU/NPU/VPU协同与开源OS生态切入系统级优化。

端侧AI需重构计算范式,而非仅缩小云端模型;“星辰”CPU+Helium、“周易”X3-Pro NPU、“玲珑”VPU形成异构协同硬件栈;AIOS联盟旨在统一碎片化边端软件生态。

适合嵌入式系统架构师、边缘AI芯片设计工程师、工业IoT平台开发者阅读。

7 月 18 日,WAIC 2026 期间,安谋科技在上海世博展览馆举行 AI 前瞻发布会。

与展馆中大量围绕超节点、万卡集群和云端大模型的讨论不同,这场发布会把重点放在了另一端:当 AI 进入嵌入式设备、摄像头、机器人、工业网关和边缘计算节点,有限功耗、有限内存和复杂负载将如何改变芯片与系统设计。

发布会涉及四条技术线:面向嵌入式设备的“星辰”CPU 与 Arm Helium 指令集,面向边端推理的“周易”X3-Pro NPU 架构,面向机器视觉的“玲珑”VPU,以及安谋科技牵头发起的开源 AIOS 联盟。

把这些内容放在一起看,安谋科技这次在 WAIC 上试图回答的是一个更具体的工程问题:在功耗、温度、内存带宽和软件生态都受到约束的情况下,如何让计算、视频和系统软件形成一套可以部署的本地 AI 基础设施。

端侧 AI 的矛盾,不只是模型太大

过去几年,端侧 AI 通常被理解为把云端模型缩小后放进终端。但这种理解忽略了两类计算环境之间的差异。

云端服务器通常可以通过增加 GPU 数量、显存容量和网络带宽扩展计算资源,而嵌入式设备首先受到电池、散热、芯片面积和成本限制。摄像头、门锁、可穿戴设备和工业控制器也很难为了运行一个模型,持续占用全部 CPU 资源。

与此同时,端侧任务又对实时性提出了更严格的要求。云端应用可以等待模型完成数秒推理,但语音唤醒、人脸检测、机器人避障和工业控制往往需要立即响应。大量视频、音频和传感器数据如果全部上传云端,也会带来网络依赖、带宽成本和数据管理问题。

这意味着,端侧 AI 面对的不是单纯的算力不足,而是性能、功耗、响应时间、带宽和可靠性之间的多重约束。

安谋科技 CPU 产品总监朱晓鸣在现场将端侧计算划分为三类需求:始终在线的低功耗感知、由 CPU 承担的逻辑控制,以及相对复杂的 AI 计算。在这种架构中,CPU 仍然负责系统控制、实时任务和通用逻辑,向量计算单元和 NPU 则分别承接适合并行处理和矩阵计算的负载。其目标是让嵌入式设备在有限的功耗和算力下尽可能多的释放 AI 计算潜力。

CPU 的变化:给传统嵌入式计算增加向量能力

在端侧 AI 系统中,CPU 并不会因为 NPU 出现而消失。

模型运行前后的数据预处理、算子调度、设备控制、实时操作系统任务以及大量非矩阵计算,仍然需要 CPU 完成。对于规模较小的音频检测、传感器分析和简单视觉任务,直接在 CPU 上运行还可以减少不同处理器之间的数据搬运和调度开销。

安谋科技此次重点介绍了 Arm Helium 技术。Helium 是面向 Arm Cortex-M 系列处理器的向量扩展,采用 128 位固定长度向量设计,并增加了一系列面向数字信号处理和机器学习的指令。其作用不是替代 NPU,而是提高 CPU 处理并行数据的效率。

按照现场公布的测试结果,在蓝牙音频编解码场景中,以 Cortex-M4 为基准,采用相应架构的 Cortex-M52、M55 和 M85 分别获得约 30%、50%和 65%的性能提升;在部分机器学习测试中,M55 和 M85 相较较早一代处理器平均提升约 3 倍,个别项目超过 8 倍。上述数字来自安谋科技现场演示,具体表现仍会受到模型、编译器、存储系统和芯片实现方式影响。

安谋科技自研的“星辰”CPU 从第二代产品 STAR-MC2 开始支持 Helium。此次现场展示的“星辰 300”是一套原型验证平台,将 STAR CPU 与 Arm Ethos NPU 集成在 FPGA 平台中,用于运行人脸检测等端侧模型。

演示中,摄像头画面先由笔记本采集,再传输至验证平台,由 CPU 与 Ethos-U55 完成推理并在屏幕上显示检测结果。

这个平台目前更接近芯片设计与软件适配阶段的验证工具,其意义在于验证 CPU、NPU、内存和软件工具链能否协同工作,而不是一款直接面向消费者的终端产品。

从工程角度看,CPU 指令扩展适合解决规模较小、控制逻辑较多或者需要低延迟启动的任务;当模型进入实时视觉、较复杂的语音处理和语言模型场景后,专用 NPU 仍然是主要的计算补充。Arm Ethos 系列目前覆盖约 64 GOPS 至 4 TOPS 的算力范围,主要面向对面积和功耗敏感的端侧设备。

真正决定这套组合能否落地的,也不只是 CPU 和 NPU 的理论性能。数据能否在不同计算单元之间高效流动、编译器能否把算子合理拆分、模型中不受支持的算子如何回退,以及内存容量是否足够,都会直接影响最终效率。

NPU 不再只看峰值算力

如果说 CPU 部分解决的是轻量化 AI 如何进入传统嵌入式设备,那么“周易”X3-Pro 讨论的则是更复杂的边端推理。

安谋科技将边端 AI 场景分为个人终端、视觉与空间智能、工业与能源边缘、边缘节点与本地 AI 盒子四类。这些场景对芯片的要求并不相同:手机和可穿戴设备关注续航与隐私;摄像头、机器人和汽车强调低延迟、多模态感知与可靠性;工业设备更重视任务确定性和长生命周期;边缘服务器则需要多路并发和长时间运行。

因此,一套固定规格的 NPU 很难同时在所有场景中获得较高效率。

安谋科技正在研发的“周易”X3-Pro 没有简单沿用单一芯片覆盖所有市场的思路,而是提出统一软件架构、统一指令集和硬件接口,再根据不同负载配置差异化硬件。规划中的产品包括面向低功耗场景的 Lite 系列、中等算力产品以及面向复杂推理任务的子系统方案。

这套架构的核心逻辑可以概括为:上层软件尽量统一,底层硬件允许分化。

统一软件层可以减少模型适配、算子开发和部署工具的重复投入;硬件层则可以根据场景调整计算单元、Cluster 数量、内存层次、数据精度和专用加速模块。安谋科技还提出在统一架构中兼容存算一体以及非冯·诺依曼计算方案,但目前披露的主要还是架构方向,尚没有公开具体产品的算力、功耗、制程和量产时间。

从技术路线看,X3-Pro 反映出边端 NPU 设计评价标准正在发生变化。

过去厂商习惯用 TOPS 表示峰值算力,但对于 Agent 类负载,单一指标越来越难反映真实表现。持续感知、多轮交互、上下文记忆和工具调用会产生频繁的数据访问与任务切换。部分阶段是矩阵计算密集型,部分阶段则可能受内存带宽、CPU 调度或者数据预处理限制。

因此,边端 NPU 需要同时考虑算力利用率、内存容量、算子覆盖、编程灵活性和任务并发。X3-Pro 提出支持更多数据精度、混合精度计算、可配置内存层次和更灵活的 Cluster 组合,本质上是在提高架构对不同负载的适配能力。

不过,统一架构与场景化硬件之间本身也存在张力。硬件越专用,单位功耗下的效率通常越高,但软件迁移和模型兼容可能越困难;硬件越通用,模型适配更加灵活,却可能增加面积和功耗。X3-Pro 最终能否解决这一矛盾,还需要等待具体芯片及软件工具链公布后验证。

当视频不再只给人看

发布会的第三条技术线来自“玲珑”VPU。

传统视频编码主要围绕人眼视觉质量进行优化。例如,在码率有限的情况下,编码器会尽量保留人眼更容易察觉的纹理和轮廓,并允许在不明显影响观看体验的区域损失部分信息。

但在机器人、自动驾驶、视频监控和工业视觉中,视频的主要使用者正在变成模型。人眼无法察觉的压缩损失,可能破坏目标边缘、运动轨迹或者细小特征,进而影响目标检测、动作识别和模型训练结果。

这使视频压缩的优化目标从“画面看起来是否清晰”,扩展到“压缩后是否仍然有利于机器完成任务”。

安谋科技今年初发布的“峨眉”VPU 和计划于 2027 年初推出的“武当”VPU,均引入内容感知编码。其基本方式是在编码前对视频进行浅层图像处理和语义分析,再将分析结果提供给编码器,用于调整码率分配和编码决策。

按照安谋科技现场披露的信息,“武当”计划支持 8K 30fps 编码,芯片面积相较前代方案缩减约 40%,同时增加 YUV 4:2:2 编码和原始数据压缩能力。在部分不规则运动场景中,公司称其编码质量相较上一代还有约 5%至 10%的提升。由于产品尚未正式发布,这些指标仍属于设计目标或内部测试结果。

更值得关注的是其正在研发的任务感知编码方案。

这一方案将视频前处理网络、虚拟编码器和下游 AI 任务放在一起联合训练,使编码器不再只优化传统画质指标,而是同时考虑目标追踪、动作识别等任务的准确率。部署时,训练得到的前置网络可以与 VPU 结合,根据具体任务决定哪些信息需要保留、哪些信息可以进一步压缩。

安谋科技称,目前在目标追踪和动作识别测试中,该方案获得了超过 10%的编码质量提升。这里的“质量”并不完全等同于人眼观看质量,而是包含码率和下游任务精度之间的平衡。

这一方向的技术价值在于,它把视频编解码器从数据传输工具变成 AI 计算链路的一部分。但其落地也存在新的问题:针对某个模型联合优化的编码策略,能否适用于其他模型;模型升级后是否需要重新训练;不同摄像头、VPU 和 AI 框架之间如何保持兼容;压缩后的视频是否还能满足存档、回放和人工查看要求。

因此,机器视觉编码不会简单取代传统视频编码,更可能作为特定 AI 场景中的新增模式存在。

AIOS 要解决的,是异构硬件之上的系统问题

拥有 CPU、NPU 和 VPU,并不意味着一台设备已经能够运行完整的 AI 智能体。

持续感知型 AI 设备通常需要同时处理摄像头、麦克风、传感器、语言模型、语音识别、语音合成、记忆系统和运动控制。不同任务可能分别运行在 CPU、GPU、NPU 和其他加速单元上,还可能在本地与云端之间迁移。

传统操作系统能够管理进程、存储、设备和网络,但对于模型路由、上下文记忆、AI 任务编排、工具调用权限和多模态数据流,并没有统一的原生抽象。

在这一背景下,安谋科技牵头发起开源 AIOS 联盟,希望联合芯片厂商、设备厂商、模型企业和研究机构,共同探索面向新型 AI 设备的软件基础设施。现场提出的 AIOS 架构主要包括模型引擎、Agent 任务编排、记忆引擎以及 DataFlow 数据流引擎。

其中,模型引擎负责模型推理、端云路由以及语音、视觉等多个模型之间的协同;Agent 任务编排负责把一个较复杂的目标拆分为工具调用和可执行任务;记忆引擎管理长短期上下文;数据流引擎则负责在视频、音频、文本以及不同计算单元之间传递数据。

安谋科技特别提到 Zero Copy 等数据处理方式。对于持续采集视频和音频的设备来说,减少数据在 CPU 内存、加速器内存和应用程序之间的重复复制,可能比单纯提高某个算子的峰值性能更重要。一次额外的数据搬运不仅会增加延迟,也会消耗内存带宽和电量。

在 AIOS 联盟的规划中,相关软件、模型、技术文档和原型产品将逐步开放。安谋科技还计划开放端侧模型 Benchmark 套件,用于测试模型在本地设备上执行 Agent 任务和长时间任务的能力。极术社区已经推出 JishuShell,并计划继续开放知识库等组件。

不过,AIOS 目前仍然是一个定义尚未完全统一的概念。它究竟是 Linux 之上的中间件、模型运行时、Agent 框架,还是覆盖硬件、模型与交互的完整操作系统,不同厂商的理解并不相同。

联盟后续真正需要解决的,也不只是开放代码。硬件抽象接口如何统一、模型如何跨设备迁移、记忆数据采用什么格式、Agent 权限如何控制、实时任务与生成式任务如何共存,以及不同成员如何参与技术决策,都会影响其能否形成可持续的生态。

边端 AI 开始进入系统工程阶段

从 CPU、NPU、VPU 到 AIOS,安谋科技此次发布会释放出的共同信号是,边端 AI 已经不再是单颗加速芯片的问题。

CPU 负责控制、实时任务和通用计算;NPU 处理主要的模型负载;VPU 决定视频数据如何被压缩和提供给模型;操作系统则需要负责模型调度、任务编排、记忆、安全以及端云协同。任何一层出现瓶颈,都可能使其他部分的理论性能无法发挥。

这也解释了为什么边端 AI 不能简单复制云端路线。云端可以通过规模化集群分摊基础设施成本,而终端设备必须在固定功耗、固定内存和固定成本内完成相对确定的任务。对边端系统而言,能否稳定运行、是否支持主流模型、数据搬运是否高效,往往比实验室中的峰值算力更接近真实产品需求。

目前,安谋科技展示的部分内容仍处于原型或研发阶段。“星辰 300”是验证平台,“周易”X3-Pro 尚未公布完整产品规格,“武当”VPU 计划于明年初发布,AIOS 联盟也处于早期建设阶段。

因此,这场发布会更像是对技术路线的集中说明,而不是一组已经完成商业验证的产品结论。接下来值得观察的,是这些架构能否转化为量产芯片、稳定的软件工具链和实际设备,以及 CPU、NPU、VPU 与 AIOS 之间能否真正形成统一的开发与部署体系。

边端 AI 的竞争,也将从“模型能不能在设备上跑起来”,进一步转向“整套系统能否在有限资源下长期、稳定并且可控地运行”。