云原生 AI 支撑大模型服务落地的创新与实践｜AICon 深圳

8 月 22 日 -23 日，首届AICon 全球人工智能开发与应用大会深圳站即将拉开帷幕。本次大会将聚焦 Agent、多模态、AI 产品设计等热门方向，围绕企业如何通过大模型降低成本、提升经营效率的实际应用案例，邀请来自阿里、腾讯、字节跳动、微软、华为等头部企业以及商汤、Plaud、Rokid 等 AI 明星公司的专家，分享 AI 落地实战经验。一起探索 AI 应用的更多可能，发掘 AI 驱动业务增长的新路径！

阿里云资深技术专家张凯已确认出席并发表题为《云原生 AI 支撑大模型服务落地的创新与实践》的主题分享。大模型算法和 AI 工程技术的发展日新月异，同时对 AI 基础设施的规模，效率和稳定性提出更多挑战。本话题将介绍，社区基于 Kubernetes、算力调度、数据编排、可观测、AI 网关和微服务等技术，在构建云原生 AI 基础设施方向的最新进展。并以 LLM 推理负载管理和模型服务化管理为例，讨论如何加速大模型能力高效落地，降低企业生产和使用 AI 的门槛。

张凯负责阿里云容器智算产品研发，多年云计算领域研发经历，深耕云原生技术在企业应用、微服务、AI、大数据、高性能计算等众多场景的落地。带领团队开拓云原生 AI 领域，创立 Fluid、Kube-Queue、GPUShare、Arena 等多个相关开源项目。他在本次会议的详细演讲内容如下：

演讲提纲：

1. 大模型对 AI Infra 的挑战，云原生 AI 技术如何发展和应对

2. 云原生 AI Infra 的架构和关键技术详解，介绍整体架构和主要技术

   大规模 GPU 集群稳定性提升，如端到端的故障自愈体系

   精细化 AI 算力可观测能力，如 GPU 监控和实时 Profiling 技术

   高弹性 AI 数据处理流水线，如统一调度 Spark、Ray、Slurm on K8s 技术方案

   数据缓存和模型冷启动优化，如 Fluid 数据集编排和访问加速技术

3. LLM 推理生产落地实践，利用云原生技术构建完整的 LLM 推理服务系统，适配 PD 分离等分布式推理架构，管理推理服务全生命周期，优化推理性能

听众收益：

• 了解通如何过优化数据访问速度，提升训练效率与推理服务性能

• 了解如何通过完善 GPU 可观测性和自动化故障处理机制，洞察 GPU 资源效率和 AI 任务性能的波动，以应对集群稳定性挑战

• 了解如何围绕新的 LLM 推理工作负载，构建完整的 LLM 模型服务架构和技术栈，帮助客户跨越从尝试大模型到生产使用的鸿沟

除此之外，本次大会还策划了AI Infra、AI 产品研发与商业落地探索、Agent 应用新范式与 MCP 生态实践、AI 驱动业务重塑与提效、智能硬件与具身智能创新实践、AI 原生时代的卓越架构治理、、多模态与空间智能技术创新、Agent + Data 落地探索、AI 赋能研发体系变革、Agent 核心技术与系统架构创新、大模型在金融领域的创新实践等 10 多个专题论坛，届时将有来自不同行业、不同领域、不同企业的 70+资深专家在 AICon 深圳站现场带来前沿技术洞察和一线实践经验。

现在报名即可以享受 9 折优惠，单张门票立省 580 元，详情可扫码或联系票务经理 13269078023 咨询。