华为昇腾推理技术的优化实践｜AICon 上海

5 月 23 日-24 日，AICon 全球人工智能开发与应用大会上海站即将拉开帷幕。本次大会将聚焦 AI 技术的前沿突破与产业落地，围绕 AI Agent、多模态应用、大模型架构创新、推理性能优化、大模型驱动数据创新、AI 产品创新与出海策略等核心议题，呈现技术与应用融合的最新趋势。

华为高级开发工程师张君已确认出席 AICon 上海并将在大模型推理性能优化策略专题发表题为《华为昇腾推理技术的优化实践》的主题分享。随着大模型技术的快速发展，其在 LLM、多模态融合等领域的应用越来越广泛。然而，大模型的高效推理仍然是一个关键挑战，从计算复杂度、内存占用、通信技术等各个技术层面展开，如何在保证性能的同时降低计算成本、提升推理效率成为了关键挑战。本次演讲将围绕大模型推理优化的技术发展方向，围绕模型层、推理框架层、算子层这 3 个方面展开，并结合实践案例，阐述相关的技术方案和选型，帮助听众更好地理解和应用大模型推理技术。

张君作为核心开发者参与 AI 框架 (昇思) 的开发，并负责动态图的自动微分以及动静结合模块。目前主要参与大模型推理在昇腾硬件上的相关开发和优化工作，致力于通过优化推理框架、模型算法和算子加速库等层面，进一步提升大模型推理的性能。他在本次会议的详细演讲内容如下：

演讲提纲：

1. 大模型推理加速的技术挑战与常用方案

• 算子融合，如 FA，通算融合

• 模型量化，如 w8a8 等

• Attention 容量压缩，如 MLA、GQA 等

2. 技术研究热点：模型层、框架层、算子层

• 模型层优化

• 昇腾推理领域加速库 ATB

• 推理框架层优化

• - 昇腾图编译技术 TorchAir

• - PD 分离部署

• - 动态批处理（Dynamic Batching）、Prefix Cache 等

• 算子层优化

• 高效融合算子，如 MLA 算子设计

• NPU 亲和性编程，充分利用 Cube 和 Vector 计算单元能力

3. 业务实践：推理优化成功案例

• 通信融合算子最大化时间掩盖，如 AllGatherMatmul

• MLAPO 大融合算子，加速降低计算耗时

4. 下一步优化方向

• PD+大 EP 等

听众收益：

• 了解当前华为昇腾推理技术的优化实践

除此之外，本次大会还策划了AI Agent 构建及多元应用、多模态大模型创新实践、AI for Data，数据管理与价值挖掘实践、大模型推理性能优化策略、AI 产品设计的创新思维、智能硬件与大模型的融合探索、金融领域大模型应用实践、大模型助力业务提效实践等专题，届时将有来自不同行业、不同领域、不同企业的 60+资深专家在 AICon 上海站现场带来前沿技术洞察和一线实践经验。

现在报名即可以享受 9 折优惠，单张门票立省 580 元，详情可扫码或联系票务经理 13269078023 咨询。