推理、训练、数据全链条的工程挑战，谁在构建中国 AI 的底层能力？｜AICon 北京

在大模型快速演进的浪潮中，模型本身不再是唯一的挑战，推理慢、训练不稳、数据难迁等“系统性问题”正成为决定技术能否规模化落地的关键变量。特别是对国产 AI 而言，算力适配、系统容错、数据合规等问题，更是绕不开的现实考验。

6 月 27～28 日， AICon 全球人工智能开发与应用大会·北京站将带来聚焦系统层的七大关键议题，涵盖国产芯片推理适配、开源部署实践、大规模训练容错机制、AI 数据底座的云原生演进等多个方向。既有深耕国产平台的实践派，也有活跃在开源社区的一线开发者，共同勾勒出国产 AI 基础设施建设的技术全貌。

以下是这七个演讲议题前瞻，一起提前了解他们将带来的分享内容：

开源赤兔推理引擎助力国产算力突破FP8挑战

by 汤雄超 清程极智 CEO

随着国产大模型技术的快速发展，如何利用国产算力芯片高效部署和运行这些模型成为关键问题。当前，FP8 精度模型的推理高度依赖英伟达 Hopper 架构 GPU，这使得国内企业在部署时面临硬件成本高昂、依赖进口芯片等困境。为解决这一问题，清程极智与清华团队联合开源了赤兔推理引擎，本次演讲将分享赤兔推理引擎如何通过底层技术革新，实现了在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运行 FP8 精度模型，并确保模型精度无损。

✨ 关键词：FP8 精度原生适配/非 Hopper 架构/国产芯片推理/开源部署

昇腾DeepSeek大模型推理架构

by 王建辉 华为昇腾 /架构师

在大模型加速部署进入深水区的今天，如何在国产算力平台上高效运行大模型，已成为影响应用落地的重要一环。本次分享将介绍昇腾 DeepSeek 大模型推理架构，性能优化方案及关键优化措施，以及优化建议。

✨ 关键词：昇腾芯片推理优化 / 专家并行调度 / 集合通信加速 / MoE 模型部署

京东零售大模型推理优化实践

by 杨培军 京东零售 /AI 架构师

LLM 模型在京东零售内部有大量面向 C 端用户、B 端商家和广告主系统等的落地应用，业务场景提出了较高的 SLO 要求和成本压力，如何兼顾高吞吐与低时延是迫切要解决的问题。本次演讲将展开介绍这其中面临的技术挑战和核心技术要点，分享可落地的优化实践经验。

✨ 关键词：高吞吐低延迟优化 / 请求调度与流水线执行 / 零售级推理系统实践

强化学习 AI 系统的设计实现及未来发展

by 曹宇 阿里巴巴 /算法专家

强化学习作为推动大语言模型进一步提升智能程度的手段，一直是大语言模型训练环节中最核心且复杂的环节。其中的复杂度不仅仅体现在其算法方面，也体现在其系统的整体要求上，本次分享从传统的 RLHF 系统开始，结合算法实践展示出 RL 系统的现状及发展脉络。通过具体的实践，与从业者共同探讨未来超大规模 RL 的发展方向，分享内容既包括理论基础，也包含业界实践，最后开源生态及社区共建也会涉及。

✨ 关键词：RLHF 系统架构 / 自对齐与课程学习 / 分布式训练 / 开源 RL 生态

SGLang 推理引擎——高效的开源部署方案

by 尹良升 /SGLang 核心开发者

开源大语言模型快速发展，如 Deepseek V3 和 R1，展现了卓越的性能表现，同时其高效的部署方案大幅降低了推理成本。该方案整合了多项前沿技术，包括大规模专家并行、注意力并行、推测解码、Prefill 与 Decode 的分离部署，以及高效的 KV 缓存落盘实现。这些技术的结合，构成了当前最先进、最高效的大语言模型推理体系。

作为主流开源推理框架之一，SGLang 已深度集成这些技术。本次演讲将深入解析这些关键技术，并探讨其在实际应用中的优化与落地，同时结合最新版本展示如何以极低的成本部署 Deepseek V3/R1 等开源大语言模型。

✨ 关键词：开源推理框架 / 多并行优化 / 推测解码 / 结构化部署方案

DLRover在万卡规模大模型训练中的稳定性实践

by 马介悦 蚂蚁集团 /高级专家

本次演讲将从万卡大模型训练的痛点出发，以业界通用的有效训练时长为核心指标，系统性介绍大模型训练稳定性的挑战，并结合蚂蚁集团的实践经验，重点介绍开源项目 DLRover（分布式训练容错框架）和 XPUTimer（性能分析工具），整体提升训练稳定性的关键技术难点。目前业界对蚂蚁的国产卡训练也表现了极大的兴趣，本次演讲也会把国产卡场景下的踩坑经历和大家一起分享。

✨ 关键词：分布式训练容错 / 万卡规模调度 / 国产卡适配 / 异常诊断工具

AI时代数据基础设施：向量数据库与云原生进化之路

by 武云峰 Zilliz /技术总监

随着 GenAI 的广泛应用，传统数据库架构在迁移、合规、数据模型演进等方面频频“掉链子”。本次分享将聚焦 Zilliz 在向量数据迁移工具、数据主权（BYOC 部署）、Schema 演进机制等方面的最新进展，展示如何构建面向 AI 场景的企业级数据基础设施。

✨ 关键词：向量数据迁移 / BYOC 部署 / Schema 演进 / 云原生数据平台