小米数据湖架构演进：Iceberg、Paimon 与 AI 场景下的实践｜QCon 北京

2025 年 4 月 10 - 12 日，QCon 全球软件开发大会将汇聚全球 140+ 技术先行者及创新实践者，直击行业痛点，解锁可复制的经验与模式。这不仅是一场会议，更是一次对技术演进的集体探索。无论你是资深开发者，还是技术管理者，都能在这里有所收获，为下一步的技术决策提供方向。

小米数据负责人李培殿已确认出席并发表题为《小米数据湖架构演进：Iceberg、Paimon 与 AI 场景下的实践》的主题分享。本次演讲主要小米数据湖架构 Iceberg 及 Paimon 演进的历程，并介绍小米使用 Apache Gravitino 统一元数据，以及使用 Fileset 进行非表格数据管理和使用上的经验。同时将分享在实际业务中如何有效的使用 Iceberg、Paimon 和 Fileset 来实现的数据在 Data 和 AI 场景的快速流转。

李培殿是小米数据负责人，在小米参与流式计算 Flink，数据湖 Iceberg，Paimon，元数据湖 Gravitino 等开发工作，同时负责小米大模型数据预处理相关工作。他在本次会议的详细演讲内容如下：

演讲提纲

1. 小米数据湖架构

• 介绍小米当前数据湖架构

• 介绍当前小米数据湖的使用情况

2. 从 Iceberg 到 Paimon

• 介绍 Iceberg 使用的问题，为什么引入 Paimon

3. AI 场景下非表格数据的管理和使用

• 介绍使用 Fileset 来管理非表格数据的应用实践

4. 统一元数据

• 为什么要做统一元数据

• 介绍使用 Gravitino 来统一元数据的落地实践

5. 实际业务案例

• 以大模型数据预处理业务为例，介绍如何使用数据湖高效的完成 Data 到 AI 的数据流转

6. 未来规划

• 统一的云原生湖仓架构

• 统一元数据

您认为，这样的技术在实践过程中有哪些痛点？

• 如何高效的实现 Data 到 AI 场景的数据流转

• 表和文件如何选择，AI 场景下是否可以使用数据湖

演讲亮点

• Iceberg、Paimon 在小米最新的落地实践

• 介绍非表格和元数据在小米的实践及业务价值

听众收益

• 了解统一元数据在小米的实践案例

• AI 场景下实际的业务价值

除此之外，本次大会还策划了多模态大模型及应用、AI 驱动的工程生产力、面向 AI 的研发基础设施、不被 AI 取代的工程师、大模型赋能 AIOps、云成本优化、Lakehouse 架构演进、越挫越勇的大前端等专题，届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。

目前，所有大会演讲嘉宾已结集完毕，了解更多报名和详情信息可扫码或联系票务经理 18514549229 咨询。

为确保大会顺利举行，现诚邀志愿者加入，时长 3.5 天。可与大咖交流、获极客时间 VIP 月卡、大会演讲视频资源和证书。主办方提供午餐和交通支持。时间：4 月 9 日 13:00-4 月 12 日 18:00，地点：北京万达嘉华酒店，报名链接：https://www.infoq.cn/form/?id=2088