腾讯混元 AngelHCF 推理加速框架优化实践｜AICon 上海

5 月 23 日-24 日，AICon 全球人工智能开发与应用大会上海站即将拉开帷幕。本次大会将聚焦 AI 技术的前沿突破与产业落地，围绕 AI Agent、多模态应用、大模型架构创新、推理性能优化、大模型驱动数据创新、AI 产品创新与出海策略等核心议题，呈现技术与应用融合的最新趋势。

腾讯推理架构师向乾彪已确认出席 AICon 上海并在大模型推理性能优化策略专题发表题为《腾讯混元 AngelHCF 推理加速框架优化实践》的主题分享。腾讯 AngelHCF 推理加速框架针对混元 LLM 大语言模型做了深度推理优化，结合全新的 Hybrid 模型结构整体上取得了不错的推理成本优势，支撑了元宝线上混元模型上万卡推理。同时，AngelHCF 于 24 年初即大规模部署上线了万亿 MoE 大模型，针对大规模 MoE 模型通信特点做了混合切分策略优化，叠加模型压缩、PD 分离等优化手段，显著降低了线上推理成本。本次分享将从不同角度分别介绍腾讯混元推理加速框架 AngelHCF 所做的一些针对性优化，结合全新的 Turbos 模型结构，希望能给听众带来一些新的启发。

向乾彪聚焦于 GPU 推理加速技术多年，在性能优化、高性能异构计算等方面积累了丰富的经验，目前主要负责混元大语言模型推理加速框架 AngelHCF，涉及算子、通信、架构等多方面优化。他在本次会议的详细演讲内容如下：

演讲提纲：

1. 腾讯混元模型 & AngelHCF 推理加速框架概述

2. 混元 Turbos Hybrid 推理优化

• Mamba Hybrid 模型的推理优势及收益

• kernel 精度以及性能调优

• 显存 & KVCache 优化之路

3. 超大规模 MoE 模型并行策略优化

• 各种模型切分策略的优缺点

• 模型并行融合策略

• 通信优化

4. PD 分离部署优化

• PD 分离部署的优势

• 请求智能调度策略

• 计算通信 Overlap

5. 腾讯混元 & AngelHCF 落地情况和展望

听众收益：

• 了解混元 Turbos Hybrid 结构带来的性能收益以及推理优化手段

• 了解大规模 MoE 语言模型推理加速具体方法 &实践

除此之外，本次大会还策划了AI Agent 构建及多元应用、多模态大模型创新实践、AI for Data，数据管理与价值挖掘实践、大模型推理性能优化策略、AI 产品设计的创新思维、智能硬件与大模型的融合探索、金融领域大模型应用实践、大模型助力业务提效实践等专题，届时将有来自不同行业、不同领域、不同企业的 60+资深专家在 AICon 上海站现场带来前沿技术洞察和一线实践经验。

现在报名即可以享受 9 折优惠，单张门票立省 580 元，详情可扫码或联系票务经理 13269078023 咨询。