写点什么

开源赤兔推理引擎助力国产算力突破 FP8 挑战|AICon 北京

  • 2025-06-10
    北京
  • 本文字数:1018 字

    阅读完需:约 3 分钟

大小:576.01K时长:03:16
开源赤兔推理引擎助力国产算力突破FP8挑战|AICon北京

6 月 27 日-6 月 28 日,AICon 全球人工智能开发与应用大会北京站即将拉开帷幕。本次大会将汇聚 AI 前沿技术与落地实践,邀请来自腾讯、阿里、百度、字节跳动等头部大厂以及智谱、硅基流动、智象未来、声智科技等 AI 企业的 50+资深专家,深度探讨 AI Agent、多模态应用、推理性能优化以及 AI 在软件研发、数据分析、业务运营等场景的具体落地实践。


清程极智 CEO 汤雄超已确认出席并发表题为《开源赤兔推理引擎助力国产算力突破FP8挑战》的主题分享。随着国产大模型技术的快速发展,如何利用国产算力芯片高效部署和运行这些模型成为关键问题。当前,FP8 精度模型的推理高度依赖英伟达 Hopper 架构 GPU,这使得国内企业在部署时面临硬件成本高昂、依赖进口芯片等困境。为解决这一问题,清程极智与清华团队联合开源了赤兔推理引擎,本次演讲将分享赤兔推理引擎如何通过底层技术革新,实现了在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运行 FP8 精度模型,并确保模型精度无损。



汤雄超现任清程极智 CEO。2019 年博士毕业于清华计算机系。主要研究领域为性能分析及性能优化、并行计算、异构计算、集群资源调度等。发表 CCF-A 类论文十余篇,申请发明专利十余项。他在本次会议的详细演讲内容如下:


演讲提纲

1. 赤兔推理引擎的诞生背景

  • 问题的提出

  • 合作与开源

2. 赤兔推理引擎的核心技术革新

  • 介绍赤兔推理引擎的底层技术框架

  • 如何实现对不同架构芯片的适配

3. 关键技术创新点

  • 在非英伟达 Hopper 架构 GPU 上的优化策略

  • 针对国产芯片的定制化开发

  • 确保 FP8 精度模型的无损运行

  • 通过技术手段降低硬件成本,提升部署效率

4. 赤兔推理引擎的实践与效果

  • 在非英伟达 H 系列 GPU 芯片上运行 FP8 精度模型的案例

  • 对比使用赤兔推理引擎前后的性能提升和成本降低

5. 行业意义和未来规划

  • 对国产大模型部署的推动作用

  • 对自主可控算力生态的贡献

  • 未来技术发展方向和行业合作倡议


您认为,这样的技术在实践过程中有哪些痛点?

  • 适配不同国产芯片需要时间。


听众收益

  • 有限硬件资源下的大模型推理取舍

  • 赤兔软 FP8 方案:软件工程优化弥补硬件不足


除此之外,本次大会还策划了AI Agent 构建与多场景实践多模态实践与应用大模型助力研发的实战经验AI 在业务运营中的深度落地大模型时代的数据处理与分析AI 变革下的工程师等 10 多个专题论坛,届时将有来自不同行业、不同领域、不同企业的 50+资深专家在 AICon 北京站现场带来前沿技术洞察和一线实践经验。


现在报名即可以享受 9 折优惠,单张门票立省 580 元,详情可扫码或联系票务经理 13269078023 咨询。



2025-06-10 15:003355

评论

发布
暂无评论

网红郭老师遭全平台账号封禁,违背公序良俗的网红该被封杀

石头IT视角

推荐三个实用的 Go 开发工具

AlwaysBeta

Go 语言

去中心化身份务实

CECBC

如何让项目准时上线?

石云升

项目管理 管理 引航计划 内容合集 9月日更

这个 TCP 问题你得懂:Cannot assign requested address

AlwaysBeta

Linux TCP TCP/IP Linux内核 TCP协议

Kubernetes踩坑问题集

玏佾

Kubernetes k8s k8s文档

阿里P8整理出SQL笔记:收获不止SOL优化抓住SQL的本质,带你领略SQL的世界!

Java MySQL 架构 面试 架构师

FontAwesome图标大全

入门小站

工具

13. AlphaGO带给人类的启示到底是什么

Databri_AI

人工智能

职场浅谈三则

姬翔

9月日更

Redis集群docker部署

非晓为骁

redis Docker redis集群

【架构设计模块七】:王者荣耀商城异地多活架构设计

Ryoma

Navicat Premium 查询 x 列时不显示

玄兴梦影

MySQL navicat select

模块七课后作业

NewBranSTONE

#架构实战营

架构实战营 1 期模块 7 作业——业务异地多活架构

tt

架构实战营

如何修改 Discourse 的域名

HoneyMoose

【布道API】关于 API 分页

devpoint

API REST API 9月日更

linux之ssh命令

入门小站

Linux

区块链赋能供应链金融风险管控探析

CECBC

国家发改委:利用区块链等新技术开展绿色电力交易试点

CECBC

我在 InfoQ 创作的思路规划

baiyutang

写作技巧 9月日更

在 Discourse 中如何使用输入对话框

HoneyMoose

谈 C++17 里的 FlyWeight 模式

hedzr

c++ 设计模式 Design Patterns 享元模式 flyweight

网络攻防学习笔记 Day129

穿过生命散发芬芳

日志分析 9月日更

模块七作业:王者荣耀商城异地多活架构设计

Felix

TLS协议分析 (七) 安全性分析

OpenIM

阿里内部流传的JDK源码剖析手册!GitHub已获上千万的访问量

Java 编程 架构 jdk 面试

架构学习模块二

George

【网络安全】记一次挖洞的日常

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 安全漏洞

女科学家流失之殇

脑极体

Java设计模式如何优雅的使用本地缓存?

张音乐

Java 缓存 9月日更

开源赤兔推理引擎助力国产算力突破FP8挑战|AICon北京_AI&大模型_AICon 全球人工智能开发与应用大会_InfoQ精选文章