以 DeepSeek 对话机器人为例分享 AI 原生应用全栈可观测实践｜QCon 北京

2025 年 4 月 10 - 12 日，QCon 全球软件开发大会将汇聚全球 140+ 技术先行者及创新实践者，直击行业痛点，解锁可复制的经验与模式。这不仅是一场会议，更是一次对技术演进的集体探索。无论你是资深开发者，还是技术管理者，都能在这里有所收获，为下一步的技术决策提供方向。

阿里云高级技术专家夏明已确认出席并发表题为《AI 原生应用全栈可观测实践：以 DeepSeek 对话机器人为例》的主题分享。随着 DeepSeek-V3 & R1 火爆全球，基于大语言模型和 AI 生态技术栈构建的应用与业务场景与日俱增。AI 原生应用架构从研发到生产落地，面临诸多新的挑战，包括模型选择、流程编排、评估分析等等。可观测技术可以帮助 LLM 应用开发及运维人员更好的优化模型性能、成本及效果。

本次演讲将以 DeepSeek 对话机器人为例，深入介绍 AI 原生应用架构的可观测需求、挑战与方案实践。比如 DeepSeek 为何频繁出现服务器繁忙？如何评估 DeepSeek 与其他模型的性能、成本与效果差异？如何优化 DeepSeek 对话机器人的终端用户体验？等等。

夏明现任阿里云高级技术专家。在链路追踪、应用可观测领域从业近十年。先后负责阿里集团 EagleEye、阿里云 ARMS 相关产品设计与研发。GitHub 稳定性专栏 StabilityGuide 发起者。他在本次会议的详细演讲内容如下：

演讲提纲

1. AI 原生应用架构演进与落地挑战

• 蓬勃发展的 AI 应用生态

• 微服务应用架构 vs AI 原生应用架构

• 典型的 LLM 应用观测需求与挑战

2. AI 原生应用架构可观测方案

• 面向 LLM 应用的领域化 Trace 语义

• User -> Session -> Trace -> Span

• LLM Span Kind/Attributes

• 面向 LLM 应用的领域化指标洞察

• 系统、模型、失败、延迟、成本、评估

• 基于 OpenTelemetry 的高质量数据采集

• 大模型框架无侵入埋点（vLLM）

• 如何解决超长文本采集与分析

• LLM 专属领域可视化分析视图

• 推理性能分析

• Token 消耗分析

• LLM TraceView

3. DeepSeek 对话机器人可观测实践

• 如何构建端到端全链路分析视图？

• 前端、网关、后端、模型、基础设施

• 如何解决海量并发下的服务器繁忙？

• 瓶颈定位、请求缓存、模型切换等

• 如何评估对话机器人回答效果？

• 向量索引、语义富化、效果评估等

您认为，这样的技术在实践过程中有哪些痛点？

• 大模型领域化数据语义、采集、加工与可视化

• 大模型端到端全栈数据打通与分析

• 从性能向成本、评估效果的观测重心转移

演讲亮点

• 面向 AI 原生应用的端到端全栈可观测方案

• 以 DeepSeek 对话机器人为例，介绍大模型调用性能/成本/效果优化实践

听众收益

• 了解阿里云面向 AI 原生应用架构的全栈可观测前沿技术

• 开拓新思路，比如通过 LLM Trace 分析 DeepSeek 对话机器人服务器繁忙性能瓶颈

除此之外，本次大会还策划了多模态大模型及应用、AI 驱动的工程生产力、面向 AI 的研发基础设施、不被 AI 取代的工程师、大模型赋能 AIOps、云成本优化、Lakehouse 架构演进、越挫越勇的大前端等专题，届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。

目前，所有大会演讲嘉宾已结集完毕，了解更多报名和详情信息可扫码或联系票务经理 18514549229 咨询。

为确保大会顺利举行，现诚邀志愿者加入，时长 3.5 天。可与大咖交流、获极客时间 VIP 月卡、大会演讲视频资源和证书。主办方提供午餐和交通支持。时间：4 月 9 日 13:00-4 月 12 日 18:00，地点：北京万达嘉华酒店，报名链接：https://www.infoq.cn/form/?id=2088