7 月 18 日，云天励飞在 2026 WAIC 公布未来两年多 AI 推理芯片路线图。公司计划推出 DeepVerse100P、DeepVerse100D、DeepVerse100L 三款芯片，分别针对 AI 推理中 Prefill、Decode 和 Decode FFN 环节的负载特征进行专用优化。
三款芯片将面向万卡异构集群进行协同设计与部署，通过对不同推理阶段进行解耦，为不同负载配置更加适配的芯片和算力资源，进一步提升系统整体效率，持续降低 Token 生成成本。
推理负载持续分化，算力优化走向精细化
从负载特征来看，当前大模型推理应用正在形成不同类型：以对话、知识问答为代表的通用 AI 助手，以复杂推理、编程为代表的深度推理应用，以及以 Agentic Coding、多 Agent 协同为代表的实时智能体系统。
随着 AI 应用不断深入，单次任务的上下文长度、推理链路复杂度以及实时交互要求持续提高，对推理系统的吞吐、延迟和成本提出了更高要求。对于大规模推理部署而言，峰值算力已难以单独反映系统效率，计算、访存、互联和系统调度等因素，共同影响 Token 生成效率和成本。
大模型推理不同阶段的计算特征也存在明显差异。Prefill 需要集中处理输入上下文，对计算能力要求较高；Decode 采用逐 Token 生成方式，对内存带宽和数据访问效率更加敏感。随着 MoE 等模型架构发展，Decode 阶段内部的 Attention 与 FFN 在计算、访存等方面也呈现出不同的资源需求。
针对推理负载的变化，云天励飞计划在未来推出 DeepVerse100P、DeepVerse100D 和 DeepVerse100L 三款云端大算力推理芯片。
DeepVerse100P 面向百万级上下文 Prefill 场景打造。在传统混部架构中，长上下文 Prefil 与 Decode 共享算力与带宽资源，会造成资源抢占，对 Decode 生成吞吐造成影响。
DeepVerse100D 面向 Decode 环节打造专用推理引擎，拥有数倍于主流芯片的内存带宽，支持 1024 卡 Scale-up 及光互联系统架构。通过按需建立光路直连，并根据任务动态重构光路，减少传统多跳电交换和静态组网中的排队、拥塞及中间转发开销，降低多节点通信阻塞和尾延迟，提高逐 Token 输出的稳定性。
DeepVerse100L 面向 Decode 阶段计算密集型的 FFN 环节，采用 3D Memory 架构，相比主流 HBM，大幅提升内存带宽，并通过低延迟芯片互联和激活数据快速传输，提高计算与通信的并行效率。
三款芯片协同面向万卡异构集群
随着 AI 推理进入规模化部署阶段，芯片优化也正由单颗性能提升，进一步走向多芯协同和集群级效率优化。
在万卡规模的推理集群中，系统效率并非单卡性能的简单叠加。不同推理负载对计算、内存和通信资源的需求存在明显差异，当 Prefill 与 Decode、Attention 与 FFN 共享同一套通用算力资源时，容易产生资源竞争。与此同时，随着集群规模扩大，通信阻塞、资源等待和尾延迟等问题也会进一步影响整体推理效率。
因此，提升 Token 生成效率，除了优化单颗芯片性能，还需要围绕芯片在集群中的协同，对推理过程中的计算、访存、互联和资源配置进行系统级设计。
基于 DeepVerse100P、DeepVerse100D 和 DeepVerse100L，云天励飞计划推动三款芯片在万卡异构集群中的分离式部署与协同运行。按照 Prefill、Decode 和 Decode FFN 的不同负载特征，分别配置相应芯片和资源池，并通过高速互联形成协同运行的异构算力系统。
这一芯片协同方案围绕 Token 生成全过程进行系统优化。通过对不同推理阶段进行分离，降低不同负载之间的资源干扰，并根据实际需求配置计算、访存和通信资源，从而提升集群资源利用率和整体推理效率。
从面向特定推理负载进行芯片优化，到不同芯片之间的协同，再到万卡级集群应用，云天励飞正在将 AI 推理芯片的优化范围由单颗性能延伸至集群级效率。
面向“百亿 Token 一分钱”的长期目标，云天励飞希望以三款芯片为核心，形成一套服务于大规模 Token 生成的“推理工厂”，通过芯片、互联、软件和系统的协同优化，提高算力产出效率，持续降低单位 Token 成本。
IFWA 软件栈：降低国产算力应用门槛
硬件异构程度和集群规模不断提升，也对软件栈提出了更高要求。模型能否快速完成适配、算子性能能否得到充分释放、不同硬件资源能否高效协同，直接影响 DeepVerse 芯片在大规模集群中的实际运行效率。
围绕 DeepVerse 芯片及其集群应用，云天励飞持续建设 IFWA 软件栈，覆盖 AI 模型开发、编程及系统等不同层级，为模型适配、算子优化、编译部署和软硬件协同提供软件支撑。
在兼容性方面，IFWA 围绕 Transformer 主流架构，持续完善 PyTorch ATen 算子的适配和性能优化，并加强对 vLLM、SGLang 等主流推理框架的支持。通过兼容主流软件接口、复用成熟开源组件，降低模型向 DeepVerse 平台迁移和部署的成本。
在模型适配和开发效率方面，IFWA 构建了覆盖模型量化、压缩、编译和部署的一站式自动化工具链，并引入 AI Agent 参与推理芯片适配和性能优化。
此前，云天励飞已开源 Houmao 多 Agent 异构编程框架，由不同 Agent 协同完成模型开发、算子开发、性能优化和测试验证等任务，将部分依赖人工经验的芯片软件开发流程转化为自动执行、自动验证和持续优化，缩短新模型和新算子的适配周期。
与此同时，云天励飞还将成熟的 Triton 算子能力融入 FlagOS，通过代码贡献、联合验证和社区复用，推动相关能力在国产 AI 软件生态中进一步共享，减少不同硬件平台在算子适配上的重复投入。
在云天励飞的规划中，IFWA 并非一套封闭的软件体系，而是通过对主流模型、框架和开发工具的兼容，降低开发者的迁移和使用成本，缩短模型在 DeepVerse 平台上的部署周期，让国产算力更加便捷地进入实际应用。
“1001 计划”，推动 Token 成本协同优化
降低 Token 生成成本是一项系统工程。
从芯片架构、IP 与 EDA，到封装测试、系统互联、软件栈和算力平台，再到模型及应用，产业链不同环节的效率都会影响最终的 Token 生成成本。实现极致性价比的 Token，需要产业链上下游共同参与。
今年 5 月，云天励飞联合 30 余家等单位，共同签署“1001 计划”倡议。“1001 计划”将围绕 Token 生成效率和成本，推动产业链上下游加强协同。通过更加紧密的产业合作，使模型和应用需求更早反馈至芯片及系统设计环节，推动成熟软件能力加快复用，同时加速芯片在集群和实际场景中的验证和应用。
随着 AI 走向规模化应用，算力竞争正在进一步转向对系统效率和单位 Token 成本的持续优化。芯片、软件、系统和应用之间的协同程度，也将越来越直接地影响 AI 算力的实际价值。
以“百亿 Token 一分钱”为长期目标，云天励飞将持续推进芯片、系统、软件和产业生态协同创新，与更多生态伙伴共同提高 Token 性价比，推动国产 AI 算力从“能用”迈向“好用、易用、用得起”，为人工智能规模化应用提供更加高效、普惠的算力基础。
