从云入端，CANN & Ascend C 助力大模型端侧部署｜QCon 上海

如果你也关注 Agent、AI 搜索、多模态、工程化等话题，一定不要错过这 100+可落地的实践案例！

10 月 23 日-10 月 25 日，QCon 全球软件开发大会将在上海举办。本次大会将聚焦 Agentic AI、具身智能、强化学习框架、端侧大模型实践、多智能体协作等热门话题，以及 AI 时代下的软件研发、可观测、开源等技术实践，邀请来自腾讯、阿里、字节跳动、华为、蚂蚁集团、小红书等企业的技术专家，和来自清华大学、北京邮电大学、浙江大学的顶尖高校讲师，和你一起重构技术认知与能力边界！

华为 CANN 端侧生态技术专家章武已确认出席并发表题为《从云入端，CANN & Ascend C 助力大模型端侧部署》的主题分享。本次演讲将围绕当前端侧大模型日益增长需求，针对华为手机端侧大模型入端技术挑战（人因、内存、存储、功耗等），重点介绍相关创新技术实践和生态开放方案，同时展望未来端云协同技术下端侧大模型能力的演进。

章武，华为 CANN 端侧生态技术专家，深耕华为端侧 AI 计算领域 8 年，主要研究方向高性能计算、大模型推理、硬件建模、端侧 AI 生态。长期从事端侧 AI 生态技术构建，主导与 TOP 互联网 APP 做技术合作和业务上线。他在本次会议的详细演讲内容如下：

演讲提纲

1. 背景

• 端侧大模型应用场景

• 大模型入端的主要收益

2. 端侧大模型技术的主要挑战

• 大模型应用的人因体验

• 内存、存储、算力和功耗多重受限

3. 大模型入端技术创新实践

• 算法创新（投机、以存代算、token 压缩复用）

• 模型小型化（量化）

• 推理加速优化

• 内存极致压缩复用

4. 大模型能力开放

• 大模型推理引擎

• 自定义算子编程 Ascend C

5. 未来展望

• 端云场景的协同

您认为，这样的技术在实践过程中有哪些痛点？

• 大模型的端侧推理的内存优化和包体积优化

• 端侧大模型场景功耗问题

演讲亮点

• 大模型大模型推理引擎，Ascend C 自定义编程

听众收益

• 大模型入端技术探索，端云协同，低 bit 量化

除此之外，本次大会还策划了多模态融合技术与创新应用、混沌工程与全链路压测实践、Data Infra for AI、Agentic AI、加速与反哺：AI 时代的可观测实践、Vibe Coding、端侧大模型的创新与应用、大模型推理的工程实践、AI 搜索技术的深水区、模型训练与微调、具身智能：当 AI 学会“动手思考”、大模型驱动的制造革命、AI4SE：软件研发提质增效实践、AI 重塑视觉创作体验、从“炫技”走向“实用”的 AI 产品、大模型驱动的智能数据分析等 20 多个专题论坛，届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 上海站现场带来前沿技术洞察和一线实践经验。

现在报名即可以享受 9 折优惠，单张门票立省 680 元，，详情可联系票务经理 18514549229 咨询。