《HarmonyOS:领航者说》技术公开课来啦,大咖分享、实战解码,不容错过 了解详情
写点什么

Paimon 流式湖仓架构在字节大规模业务场景的落地实践|QCon 北京

  • 2025-04-07
    北京
  • 本文字数:992 字

    阅读完需:约 3 分钟

大小:460.31K时长:02:37
Paimon 流式湖仓架构在字节大规模业务场景的落地实践|QCon 北京

2025 年 4 月 10 - 12 日,QCon 全球软件开发大会将汇聚全球 140+ 技术先行者及创新实践者,直击行业痛点,解锁可复制的经验与模式。这不仅是一场会议,更是一次对技术演进的集体探索。无论你是资深开发者,还是技术管理者,都能在这里有所收获,为下一步的技术决策提供方向。


字节跳动研发工程师闵文俊已确认出席并发表题为《Paimon 流式湖仓架构在字节大规模业务场景的落地实践》的主题分享。本次演讲将探讨传统实时和离线开发中遇到的问题与挑战,并介绍 Paimon 作为数据湖的新星,在流式湖仓场景中的核心价值与能力。同时,将分享如何在实际业务场景中有效应用 Paimon,以及如何解决其在大规模场景中的稳定性和性能问题。


闵文俊是字节跳动研发工程师,Apache Paimon Committer,Apache Flink Contributor。多年大数据领域的从业者,目前专注于 Paimon 的流式湖仓相关的工作。他在本次会议的详细演讲内容如下:


演讲提纲

1. 背景 & 挑战

  • 传统实时和离线链路开发所面临的问题

  • 引入流式湖仓架构

2. Paimon 湖格式架构

  • Paimon 的发展历程

  • Paimon 整体架构与核心功能

  • Paimon 1.0 社区新进展

3. 业务实践

  • 广告归因场景中的应用

  • 大规模维表场景的应用

4. 未来规划

  • 基于 Paimon 流式湖仓架构的进一步演进

  • Paimon 稳定性和性能进一步的优化


您认为,这样的技术在实践过程中有哪些痛点?

  • 数据湖体系下对湖表管理的新的诉求

  • 在大规模流量场景如何满足稳定性和时效的要求


演讲亮点

  • Paimon 在流式湖仓场景的演进

  • Paimon 在实际生产实践中遇到的问题和优化手段


听众收益

  • 了解 Paimon 的核心功能和社区最新动态

  • 了解 Paimon 在大规模场景中的生产实践

  • 了解 Paimon 在落地过程中遇到的问题和解决方案


除此之外,本次大会还策划了多模态大模型及应用AI 驱动的工程生产力面向 AI 的研发基础设施不被 AI 取代的工程师大模型赋能 AIOps云成本优化Lakehouse 架构演进越挫越勇的大前端等专题,届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。


目前,所有大会演讲嘉宾已结集完毕,了解更多报名和详情信息可扫码或联系票务经理 18514549229 咨询。



为确保大会顺利举行,现诚邀志愿者加入,时长 3.5 天。可与大咖交流、获极客时间 VIP 月卡、大会演讲视频资源和证书。主办方提供午餐和交通支持。时间:4 月 9 日 13:00-4 月 12 日 18:00,地点:北京万达嘉华酒店,报名链接:https://www.infoq.cn/form/?id=2088

2025-04-07 08:006951

评论

发布
暂无评论

APISIX jwt-auth 插件存在错误响应中泄露信息的风险公告(CVE-2022-29266)

API7.ai 技术团队

api 网关 APISIX CVE

深度报告:异构时代,芯片需集成多个模板

Finovy Cloud

人工智能 云计算 gpu GPU服务器

大数据培训Flink面试宝典

@零度

flink 大数据开发

CrashSight 接入上报常见问题及解决方案

WeTest

手机摄像头越多拍照效果越好吗?

InfoQ IT百科

Kafka设计的基本原理

平凡人生

云原生虚拟化:基于 Kubevirt 构建边缘计算实例

火山引擎边缘云

容器 k8s 边缘计算 Kubevirt

Gartner调查研究:中国的数字化发展较之世界水平如何?高性能计算能否占据主导地位?

GPU算力

GPU服务器 GPU算力

Talent Plan 学习营初体验:交流+坚持 开源协作课程学习的不二路径

PingCAP

“开源之夏”活动火热报名中,丰厚奖金等你来拿!

云智慧AIOps社区

开源 活动 开源软件

基于 TiDB 的 Apache APISIX 高可用配置中心的最佳实践

API7.ai 技术团队

微服务网关 api 网关 APISIX TiDB

CPU和GPU有什么区别?

InfoQ IT百科

如何写出有价值的竞品分析报告?

基调听云

竞品分析 基调听云

如何看待现阶段国内手机操作系统的竞争格局?

InfoQ IT百科

深入理解JMM-CPU多核硬件架构剖析及Java内存模型

janyxe

JVM cpu Java内存模型

真正的量子计算机触手可及!英特尔宣布规模化生产硅量子比特

科技新消息

量化系统开发,量化交易系统APP搭建

Geek_56201b

量化交易系统开发 量化交易源码 量化APP搭建

web前端培训React 泛型组件

@零度

前端开发 React

Dubbo 编程之夏报名启动了

阿里巴巴云原生

手机摄像头芯片主要有哪些?

InfoQ IT百科

射频芯片在手机上起到什么作用?

InfoQ IT百科

人为什么看不到真相?

源字节1号

网站开发

nginx proxy_next_upstream 与openresty balancer.set_more_tries的使用

飞翔

nginx openresty

手机运存与内存有什么区别?

InfoQ IT百科

手机刷新率越高越好吗?

InfoQ IT百科

2019年华为鸿蒙加入手机系统阵营,如何看待鸿蒙这三年的发展?

InfoQ IT百科

云融科技加入龙蜥社区,助力金融行业数字化转型

OpenAnolis小助手

数字化转型 龙蜥社区 CLA 云融科技

Paimon 流式湖仓架构在字节大规模业务场景的落地实践|QCon 北京_大数据_QCon全球软件开发大会_InfoQ精选文章