SGLang 推理引擎——高效的开源部署方案｜AICon 北京

6 月 27 日-6 月 28 日，AICon 全球人工智能开发与应用大会北京站即将拉开帷幕。本次大会将汇聚 AI 前沿技术与落地实践，邀请来自腾讯、阿里、百度、字节跳动等头部大厂以及智谱、硅基流动、智象未来、声智科技等 AI 企业的 50+资深专家，深度探讨 AI Agent、多模态应用、推理性能优化以及 AI 在软件研发、数据分析、业务运营等场景的具体落地实践。

SGLang 核心开发者尹良升已确认出席并发表题为《强化学习 AI 系统的设计实现及未来发展》的主题分享。开源大语言模型快速发展，如 Deepseek V3 和 R1，展现了卓越的性能表现，同时其高效的部署方案大幅降低了推理成本。该方案整合了多项前沿技术，包括大规模专家并行、注意力并行、推测解码、Prefill 与 Decode 的分离部署，以及高效的 KV 缓存落盘实现。这些技术的结合，构成了当前最先进、最高效的大语言模型推理体系。

作为主流开源推理框架之一，SGLang 已深度集成这些技术。本次演讲将深入解析这些关键技术，并探讨其在实际应用中的优化与落地，同时结合最新版本展示如何以极低的成本部署 Deepseek V3/R1 等开源大语言模型。

尹良升就读于上海交通大学 ACM 班，即将前往加州大学伯克利分校 Sky Computing 攻读计算机博士学位。

作为最早期的几位核心开发者之一，深度参与了 SGLang 的研发和优化。SGLang 作为开源社区中备受关注的推理引擎，截至 2025 年 3 月，已在 GitHub 上获得 11K+ Stars，月均下载量超过 10 万。SGLang 也被多个行业巨头采用，包括 xAI（用于部署 Grok 3）、Microsoft Azure（运行 DeepSeek R1）、NVIDIA 和 AMD（深度集成）以及 LinkedIn、美团等企业的生产环境。在 DeepSeek R1 发布时，SGLang 便成为其官方推荐的推理引擎之一。他在本次会议的详细演讲内容如下：

演讲提纲

1. PD 分离技术的高效实现

2. 大规模专家并行、注意力并行等多种并行方案的兼容和高效部署

3. 多级 KV Cache 的缓存设计

4. 高效的 Eagle 推测解码、引用推测解码和基于语法的结构解码设计

5. SGLang 社区生态与发展

您认为，这样的技术在实践过程中有哪些痛点？

• 高质量的开发人员人手不足

• 技术兼容性问题

您的演讲有哪些前沿亮点？

被多个行业巨头采用的推理引擎背后，多项核心技术深度解析

听众收益：

• 学习前沿大模型推理技术的开源实现

• 学习开源社区的开发经验和管理方案

除此之外，本次大会还策划了AI Agent 构建与多场景实践、多模态实践与应用、大模型助力研发的实战经验、AI 在业务运营中的深度落地、大模型时代的数据处理与分析、AI 变革下的工程师等 10 多个专题论坛，届时将有来自不同行业、不同领域、不同企业的 50+资深专家在 AICon 北京站现场带来前沿技术洞察和一线实践经验。

大会开幕在即，了解更多报名和详情信息可扫码或联系票务经理 13269078023 咨询。