开源赤兔推理引擎助力国产算力突破 FP8 挑战｜AICon 北京

6 月 27 日-6 月 28 日，AICon 全球人工智能开发与应用大会北京站即将拉开帷幕。本次大会将汇聚 AI 前沿技术与落地实践，邀请来自腾讯、阿里、百度、字节跳动等头部大厂以及智谱、硅基流动、智象未来、声智科技等 AI 企业的 50+资深专家，深度探讨 AI Agent、多模态应用、推理性能优化以及 AI 在软件研发、数据分析、业务运营等场景的具体落地实践。

清程极智 CEO 汤雄超已确认出席并发表题为《开源赤兔推理引擎助力国产算力突破FP8挑战》的主题分享。随着国产大模型技术的快速发展，如何利用国产算力芯片高效部署和运行这些模型成为关键问题。当前，FP8 精度模型的推理高度依赖英伟达 Hopper 架构 GPU，这使得国内企业在部署时面临硬件成本高昂、依赖进口芯片等困境。为解决这一问题，清程极智与清华团队联合开源了赤兔推理引擎，本次演讲将分享赤兔推理引擎如何通过底层技术革新，实现了在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运行 FP8 精度模型，并确保模型精度无损。

汤雄超现任清程极智 CEO。2019 年博士毕业于清华计算机系。主要研究领域为性能分析及性能优化、并行计算、异构计算、集群资源调度等。发表 CCF-A 类论文十余篇，申请发明专利十余项。他在本次会议的详细演讲内容如下：

演讲提纲

1. 赤兔推理引擎的诞生背景

• 问题的提出

• 合作与开源

2. 赤兔推理引擎的核心技术革新

• 介绍赤兔推理引擎的底层技术框架

• 如何实现对不同架构芯片的适配

3. 关键技术创新点

• 在非英伟达 Hopper 架构 GPU 上的优化策略

• 针对国产芯片的定制化开发

• 确保 FP8 精度模型的无损运行

• 通过技术手段降低硬件成本，提升部署效率

4. 赤兔推理引擎的实践与效果

• 在非英伟达 H 系列 GPU 芯片上运行 FP8 精度模型的案例

• 对比使用赤兔推理引擎前后的性能提升和成本降低

5. 行业意义和未来规划

• 对国产大模型部署的推动作用

• 对自主可控算力生态的贡献

• 未来技术发展方向和行业合作倡议

您认为，这样的技术在实践过程中有哪些痛点？

• 适配不同国产芯片需要时间。

听众收益

• 有限硬件资源下的大模型推理取舍

• 赤兔软 FP8 方案：软件工程优化弥补硬件不足

除此之外，本次大会还策划了AI Agent 构建与多场景实践、多模态实践与应用、大模型助力研发的实战经验、AI 在业务运营中的深度落地、大模型时代的数据处理与分析、AI 变革下的工程师等 10 多个专题论坛，届时将有来自不同行业、不同领域、不同企业的 50+资深专家在 AICon 北京站现场带来前沿技术洞察和一线实践经验。

现在报名即可以享受 9 折优惠，单张门票立省 580 元，详情可扫码或联系票务经理 13269078023 咨询。