Paimon 流式湖仓架构在字节大规模业务场景的落地实践|QCon 北京

  • 2025-04-07
    北京
  • 本文字数:992 字

    阅读完需:约 3 分钟

2025 年 4 月 10 - 12 日,QCon 全球软件开发大会将汇聚全球 140+ 技术先行者及创新实践者,直击行业痛点,解锁可复制的经验与模式。这不仅是一场会议,更是一次对技术演进的集体探索。无论你是资深开发者,还是技术管理者,都能在这里有所收获,为下一步的技术决策提供方向。

字节跳动研发工程师闵文俊已确认出席并发表题为《Paimon 流式湖仓架构在字节大规模业务场景的落地实践》的主题分享。本次演讲将探讨传统实时和离线开发中遇到的问题与挑战,并介绍 Paimon 作为数据湖的新星,在流式湖仓场景中的核心价值与能力。同时,将分享如何在实际业务场景中有效应用 Paimon,以及如何解决其在大规模场景中的稳定性和性能问题。

闵文俊是字节跳动研发工程师,Apache Paimon Committer,Apache Flink Contributor。多年大数据领域的从业者,目前专注于 Paimon 的流式湖仓相关的工作。他在本次会议的详细演讲内容如下:

演讲提纲

1. 背景 & 挑战

  • 传统实时和离线链路开发所面临的问题

  • 引入流式湖仓架构

2. Paimon 湖格式架构

  • Paimon 的发展历程

  • Paimon 整体架构与核心功能

  • Paimon 1.0 社区新进展

3. 业务实践

  • 广告归因场景中的应用

  • 大规模维表场景的应用

4. 未来规划

  • 基于 Paimon 流式湖仓架构的进一步演进

  • Paimon 稳定性和性能进一步的优化

您认为,这样的技术在实践过程中有哪些痛点?

  • 数据湖体系下对湖表管理的新的诉求

  • 在大规模流量场景如何满足稳定性和时效的要求

演讲亮点

  • Paimon 在流式湖仓场景的演进

  • Paimon 在实际生产实践中遇到的问题和优化手段

听众收益

  • 了解 Paimon 的核心功能和社区最新动态

  • 了解 Paimon 在大规模场景中的生产实践

  • 了解 Paimon 在落地过程中遇到的问题和解决方案

除此之外,本次大会还策划了多模态大模型及应用AI 驱动的工程生产力面向 AI 的研发基础设施不被 AI 取代的工程师大模型赋能 AIOps云成本优化Lakehouse 架构演进越挫越勇的大前端等专题,届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。

目前,所有大会演讲嘉宾已结集完毕,了解更多报名和详情信息可扫码或联系票务经理 18514549229 咨询。

为确保大会顺利举行,现诚邀志愿者加入,时长 3.5 天。可与大咖交流、获极客时间 VIP 月卡、大会演讲视频资源和证书。主办方提供午餐和交通支持。时间:4 月 9 日 13:00-4 月 12 日 18:00,地点:北京万达嘉华酒店,报名链接:https://www.infoq.cn/form/?id=2088