写点什么

面向 DeepSeek 的一念 LLM 分布式推理优化实践| AICon 深圳

  • 2025-08-01
    北京
  • 本文字数:860 字

    阅读完需:约 3 分钟

大小:471.49K时长:02:40
面向DeepSeek的一念 LLM 分布式推理优化实践| AICon 深圳

8 月 22 日 -23 日,首届AICon 全球人工智能开发与应用大会深圳站即将拉开帷幕。本次大会将聚焦 Agent、多模态、AI 产品设计等热门方向,围绕企业如何通过大模型降低成本、提升经营效率的实际应用案例,邀请来自阿里、腾讯、字节跳动、微软、华为等头部企业以及商汤、Plaud、Rokid 等 AI 明星公司的专家,分享 AI 落地实战经验。一起探索 AI 应用的更多可能,发掘 AI 驱动业务增长的新路径!


腾讯公司专家工程师袁镱已确认出席并发表题为一念 LLM 分布式推理优化实践的主题分享,介绍基于大模型推理基本原理,结合 MoE 类模型特性,一念 LLM 设计了一套高效分布式推理优化方案。围绕流水线并行、显存管理、以及 DP/TP/PP 混合并行策略,实现了对推理过程的深度调优。在 DeepSeek 推理测试中,相较于业界主流开源推理框架,整体吞吐性能提升达 48%。



袁镱是腾讯 PCG 大数据平台部机器学习平台中心技术负责人,腾讯公司专家工程师,负责无量系统和一念 LLM 等机器学习训练和推理框架研发。他在本次会议的详细演讲内容如下:


演讲提纲:

1、大模型推理的挑战

  • 大模型推理的基本逻辑

  • 各个推理加速框架的设计思路对比

2、大模型分布式推理的主要优化技术

  • DP/EP 等并行技术与 MoE 模型的特点

3、一念 LLM 的设计与优化

  • 一念 LLM 的设计思路和主要优化方向

  • 一念 LLM 针对 DeepSeek 特点进行的性能优化

听众收益:

  • 了解大模型推理的基本逻辑以及各个推理加速框架的设计思路对比

  • 了解一念 LLM 的设计思路,以及针对 DeepSeek 特点进行的性能优化


除此之外,本次大会还策划了AI InfraAI 产品研发与商业落地探索Agent 应用新范式与 MCP 生态实践AI 驱动业务重塑与提效智能硬件与具身智能创新实践AI 原生时代的卓越架构治理、、多模态与空间智能技术创新Agent + Data 落地探索AI 赋能研发体系变革Agent 核心技术与系统架构创新大模型在金融领域的创新实践等 10 多个专题论坛,届时将有来自不同行业、不同领域、不同企业的 70+资深专家在 AICon 深圳站现场带来前沿技术洞察和一线实践经验。


大会 9 折优惠倒计时最后 1 天,单张门票立省 580 元,详情可扫码或联系票务经理 13269078023 咨询。



2025-08-01 13:002

评论

发布
暂无评论

架构师训练营」第 2 周作业

edd

架构 极客大学架构师训练营

OOD设计原则之DIP

无心水

极客大学架构师训练营 面向对象设计原则 OOD SOLID

使用接口隔离原则优化 Cache 类的设计

极客李

架构师训练营-week2-作业

晓-Michelle

极客大学架构师训练营

架构师训练营 -week2-总结

sljoai

架构师训练营第2周总结

Glowry

极客大学架构师训练营

设计原则之依赖倒置和接口隔离

极客大学架构师训练营 依赖倒置 设计原则 接口隔离

架构师训练营第0期第二周作业

无名氏

依赖倒置原则 DIP 依赖反转原则

架构师训练营-week2-作业

sljoai

作业 week

架构师训练营第二周 - 总结

无心水

极客时间 架构师 极客大学架构师训练营 23种设计模式 面向对象设计原则

极客大学架构师训练营--编程的未来 面向对象 依赖倒置原则 -- 第二次作业

John(易筋)

极客时间 极客大学 架构师 极客大学架构师训练营 依赖倒置原则

架构师训练营第二周学习总结

子豪sirius

软件设计原则

jason

训练营第二周总结

Mr冰凉

第二周作业

大雄

依赖倒置

第 2 周 - 学习总结

大海

极客大学架构师训练营

架构师训练营第二周作业 (3)

烟雨濛濛

Flink on Zeppelin (3) - Streaming篇

Geek_8o1tcx

大数据 flink 流计算 Zeppelin

分布式唯一ID解析

架构师实现自己架构的主要手段

_MISSYOURLOVE

极客大学架构师训练营

依赖倒置原则

Halley

架构师训练营 Week 02 作业

Wancho

第 02 周 开发编程框架 命题作业

Jaye

Week 02- 作业:设计原则

dean

极客大学架构师训练营

架构师训练营 - 第二周作业

zcj

极客大学架构师训练营

第 2 周 - 课后作业

大海

极客大学架构师训练营 编程的本质与未来 第三课 听课总结

John(易筋)

极客时间 极客大学 架构师 极客大学架构师训练营 编程的未来

架构师训练营 - 第二周作业

Melo

训练营第二周作业

Mr冰凉

架构师训练营--第二周作业

_MISSYOURLOVE

极客大学架构师训练营 第二周作业

小师妹学JVM之:深入理解JIT和编译优化-你看不懂系列

程序那些事

Java JVM JIT 签约计划第二季

面向DeepSeek的一念 LLM 分布式推理优化实践| AICon 深圳_AI&大模型_AICon 全球人工智能开发与应用大会_InfoQ精选文章