2025上半年,最新 AI实践都在这!20+ 应用案例,任听一场议题就值回票价 了解详情
写点什么

Paimon 流式湖仓架构在字节大规模业务场景的落地实践|QCon 北京

  • 2025-04-07
    北京
  • 本文字数:992 字

    阅读完需:约 3 分钟

大小:460.31K时长:02:37
Paimon 流式湖仓架构在字节大规模业务场景的落地实践|QCon 北京

2025 年 4 月 10 - 12 日,QCon 全球软件开发大会将汇聚全球 140+ 技术先行者及创新实践者,直击行业痛点,解锁可复制的经验与模式。这不仅是一场会议,更是一次对技术演进的集体探索。无论你是资深开发者,还是技术管理者,都能在这里有所收获,为下一步的技术决策提供方向。


字节跳动研发工程师闵文俊已确认出席并发表题为《Paimon 流式湖仓架构在字节大规模业务场景的落地实践》的主题分享。本次演讲将探讨传统实时和离线开发中遇到的问题与挑战,并介绍 Paimon 作为数据湖的新星,在流式湖仓场景中的核心价值与能力。同时,将分享如何在实际业务场景中有效应用 Paimon,以及如何解决其在大规模场景中的稳定性和性能问题。


闵文俊是字节跳动研发工程师,Apache Paimon Committer,Apache Flink Contributor。多年大数据领域的从业者,目前专注于 Paimon 的流式湖仓相关的工作。他在本次会议的详细演讲内容如下:


演讲提纲

1. 背景 & 挑战

  • 传统实时和离线链路开发所面临的问题

  • 引入流式湖仓架构

2. Paimon 湖格式架构

  • Paimon 的发展历程

  • Paimon 整体架构与核心功能

  • Paimon 1.0 社区新进展

3. 业务实践

  • 广告归因场景中的应用

  • 大规模维表场景的应用

4. 未来规划

  • 基于 Paimon 流式湖仓架构的进一步演进

  • Paimon 稳定性和性能进一步的优化


您认为,这样的技术在实践过程中有哪些痛点?

  • 数据湖体系下对湖表管理的新的诉求

  • 在大规模流量场景如何满足稳定性和时效的要求


演讲亮点

  • Paimon 在流式湖仓场景的演进

  • Paimon 在实际生产实践中遇到的问题和优化手段


听众收益

  • 了解 Paimon 的核心功能和社区最新动态

  • 了解 Paimon 在大规模场景中的生产实践

  • 了解 Paimon 在落地过程中遇到的问题和解决方案


除此之外,本次大会还策划了多模态大模型及应用AI 驱动的工程生产力面向 AI 的研发基础设施不被 AI 取代的工程师大模型赋能 AIOps云成本优化Lakehouse 架构演进越挫越勇的大前端等专题,届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。


目前,所有大会演讲嘉宾已结集完毕,了解更多报名和详情信息可扫码或联系票务经理 18514549229 咨询。



为确保大会顺利举行,现诚邀志愿者加入,时长 3.5 天。可与大咖交流、获极客时间 VIP 月卡、大会演讲视频资源和证书。主办方提供午餐和交通支持。时间:4 月 9 日 13:00-4 月 12 日 18:00,地点:北京万达嘉华酒店,报名链接:https://www.infoq.cn/form/?id=2088

2025-04-07 08:006811

评论

发布
暂无评论

极狐GitLab如何禁止从 UI 上下载代码?

极狐GitLab

gitlab

应用网关的演进历程和分类

阿里巴巴云原生

阿里云 云原生 网关

多源异构数据源融合怎么做?Join操作篇(2)

RestCloud

数据分析 join ETL 多源异构数据融合

海外网络加速的技术手段有哪些?

Ogcloud

网络加速 企业组网 海外网络加速 企业网络加速 CDN网络加速

优化数据管理,提升监测效率:TDengine与新疆地环院达成合作

TDengine

tdengine 时序数据库 数据库·

用 Zap 轻松搞定 Go 语言中的结构化日志

左诗右码

云速搭助力用友 BIP 平台快速接入阿里云产品

阿里巴巴云原生

阿里云 云原生 BIP

一图看懂云消息队列 RabbitMQ 版对比开源优势

阿里巴巴云原生

阿里云 云原生

30 秒!用通义灵码画 SpaceX 星链发射流程图

阿里云云效

阿里云 云原生

双十一低成本上车!详谈华为云Flexus云会议为我们中小企业带来了什么

轶天下事

双十一企业协作效率再升级!华为云Flexus版云会议299元_年起

轶天下事

澳鹏白皮书:2024年AI全景报告

澳鹏Appen

人工智能 行业报告

比 Copilot 快两倍以上!在我的开源项目 AI Godot 桌宠中用通义灵码解决问题

阿里巴巴云原生

阿里云 云原生

比 Copilot 快两倍以上!在我的开源项目 AI Godot 桌宠中用通义灵码解决问题

阿里云云效

阿里云 云原生

权限系统:6个权限概念模型设计

不在线第一只蜗牛

数据库 大数据 运维

30 秒!用通义灵码画 SpaceX 星链发射流程图

阿里巴巴云原生

阿里云 云原生

双十一入手华为云Flexus云会议后,我总结了中小企业无法拒绝的3大优势

轶天下事

快递鸟物流跟踪API代码参数接入流程

快递鸟

快递物流

百度发布 AI 眼镜:全球首搭中文大模型,支持边走边问;OpenAI 联合创始人宣布回归,主抓重大技术创新丨 RTE 开发者日报

声网

七招提升工作效率

俞凡

生产力

更经济实惠的SD-WAN组网

Ogcloud

SD-WAN 企业组网 SD-WAN组网 SD-WAN服务商 SDWAN

业务、技术、管理,谁才是指标平台的用户?

Aloudata

数据仓库 数据分析 指标管理 指标平台 指标开发

离散元仿真技术与AI融合,助力广泛行业实现创新突破

Altair RapidMiner

AI 仿真 DEM altair 离散元

双十一轻松实现云上高效沟通!华为云Flexus云会议实测体验领先

轶天下事

语音 AI 革命:未来,消费者更可能倾向于与 AI 沟通,而非人工客服

声网

八招解决 Golang 性能问题

俞凡

golang

极速启动,函数计算弹性降本能力再升级

阿里巴巴云原生

阿里云 云原生 函数计算

Paimon 流式湖仓架构在字节大规模业务场景的落地实践|QCon 北京_大数据_QCon全球软件开发大会_InfoQ精选文章