写点什么

阿里云高级开发工程师罗宇侠将在 QCon 北京分享 Lakehouse 架构实时化演进实践

  • 2025-04-06
    北京
  • 本文字数:1364 字

    阅读完需:约 4 分钟

大小:690.97K时长:03:55
阿里云高级开发工程师罗宇侠将在QCon 北京分享 Lakehouse 架构实时化演进实践

2025 年 4 月 10 - 12 日,QCon 全球软件开发大会将汇聚全球 140+ 技术先行者及创新实践者,直击行业痛点,解锁可复制的经验与模式。这不仅是一场会议,更是一次对技术演进的集体探索。无论你是资深开发者,还是技术管理者,都能在这里有所收获,为下一步的技术决策提供方向。


阿里云高级开发工程师罗宇侠已确认出席并发表题为《Fluss 湖流一体:Lakehouse 架构实时化演进》的主题分享。湖仓一体 Lakehouse 凭借其开放性和成本效益,已经成为当今数据平台的主流架构。然而在 LakeHouse 架构下,数据的时效性最多只能达到分钟级。为了满足企业对实时数据分析的需求,通常需要额外引入秒级延迟的流存储(如 Kafka)。流存储游离在 LakeHouse 架构外,带来的成本、一致性、治理等问题都面临很大的挑战。


本次演讲将探讨流存储和 LakeHouse 架构割裂的现状下用户面临的问题和挑战,以及目前业界在融合两者上的趋势。然后会介绍流存储 Fluss 如何完美地融入进 LakeHouse 架构,无缝地将 LakeHouse 架构进行实时化改造,深度解析其技术架构和原理,分析该架构相比割裂地使用流存储和 LakeHouse 架构能带来的收益。最后将分享基于 Fluss 来构建实时 LakeHouse 架构的最佳实践,希望能给听众带来一些帮助。


罗宇侠是阿里云智能高级开发工程师,Apache Flink Committer,早期致力于 Flink 与 Hive 生态以及数据湖生态的集成。目前专注于流存储 Fluss 项目,负责湖流一体的研发工作。他在本次会议的详细演讲内容如下:


演讲提纲

1. 湖流割裂的现状和挑战

  • LakeHouse 架构下,流存储与湖存储割裂的现状

  • 流存储与湖存储割裂面临的挑战

2. 湖流融合的业界趋势

  • 业界在流批融合方向上的趋势

  • 业界在流批融合方向上提出的解决方案

3. Fluss 湖流一体架构和技术原理

  • Fluss 湖流一体的架构设计

  • Fluss 湖流一体的技术原理解析

4. 基于 Fluss 构建实时 Lakehouse

  • 结合湖格式 Paimon,分析 Fluss 构建实时 Lakehouse 的收益

  • Fluss 构建实时 Lakehouse 最佳实践

5. Demo 演示 & 未来规划

  • Demo 展示 Fluss 湖流一体的能力

  • Fluss 在湖流一体方向的未来规划


您认为,这样的技术在实践过程中有哪些痛点?

  • 不可避免依然需要引入提供秒级延迟的流存储

  • Fluss 同步到湖存储的 Service 依然需要管理


演讲亮点

  • LakeHouse 架构在实时化方向上的演进趋势

  • Fluss 作为面向实时分析设计的流存储,如何无缝融合进 LakeHouse 架构,满足数据分析的实时化需求


听众收益

  • 了解当前 LakeHouse 架构在数据时效性上的痛点

  • Fluss 的湖流一体架构是如何解决 LakeHouse 架构时效性上的痛点的

  • 收获基于 Fluss 来构建实时 LakeHouse 架构的最佳实践


除此之外,本次大会还策划了多模态大模型及应用AI 驱动的工程生产力面向 AI 的研发基础设施不被 AI 取代的工程师大模型赋能 AIOps云成本优化Lakehouse 架构演进越挫越勇的大前端等专题,届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。


目前,所有大会演讲嘉宾已结集完毕,了解更多报名和详情信息可扫码或联系票务经理 18514549229 咨询。



为确保大会顺利举行,现诚邀志愿者加入,时长 3.5 天。可与大咖交流、获极客时间 VIP 月卡、大会演讲视频资源和证书。主办方提供午餐和交通支持。时间:4 月 9 日 13:00-4 月 12 日 18:00,地点:北京万达嘉华酒店,报名链接:https://www.infoq.cn/form/?id=2088

2025-04-06 10:008522

评论

发布
暂无评论

引领密码技术革新,牢筑数字安全基石------openHiTLS密码套件开源发布

极客天地

不会还有程序员不知道跳槽季靠这1700道java面试题就能平淌大厂吧

程序员高级码农

Java java程序员 java面试 Java后端 Java面试题

Python 变量与运算:基础教程

敲代码不忘补水

Python 编程语言 计算机科学与技术 #科技

Java高频面试题(2025最新含答案)

Geek_Yin

程序员 Java 面试 #java Java 面试题

基于HarmonyOS 5.0 (Next)技术的渐变模糊效果技术实现【代码实战】

申公豹

HarmonyOS

《计算机组成及汇编语言原理》阅读笔记:p28-p47

codists

计算机组成及汇编语言原理

从GPT到o3:Next-token Prediction 的核心奥秘(上)

JustYan

人工智能 大模型 openai GPT 生成式AI

阿里P7架构师,耗时十年整理的Java面试飞升笔记,差距不是一点点

程序员高级码农

Java 程序员 java面试 Java后端 Java面试题

三面滴滴失败,总结了Java面试题,有几个题还是一直搞不懂

Summer

Java 程序员 面试 架构师 大厂

阿里大佬翻遍全网Java面试文章,总结出这份1658页文档,GitHub收获25K+点赞

Summer

Java 程序员 面试 架构师 大厂

HoudahSpot for Mac中文版 多功能文件搜索软件

小玖_苹果Mac软件

Python 条件判断:全面掌握 if、else、elif 语句的用法

敲代码不忘补水

Python 编程语言 科技 if 计算机科学与技术

日本经济新闻电子版:付费数字订阅用户数在日本率先达到100万

财见

mac三维建模软件:Rhino 8 for mac中文破解版

小玖_苹果Mac软件

阿里云高级开发工程师罗宇侠将在QCon 北京分享 Lakehouse 架构实时化演进实践_软件工程_QCon全球软件开发大会_InfoQ精选文章