写点什么

阿里云高级开发工程师罗宇侠将在 QCon 北京分享 Lakehouse 架构实时化演进实践

  • 2025-04-06
    北京
  • 本文字数:1364 字

    阅读完需:约 4 分钟

大小:690.97K时长:03:55
阿里云高级开发工程师罗宇侠将在QCon 北京分享 Lakehouse 架构实时化演进实践

2025 年 4 月 10 - 12 日,QCon 全球软件开发大会将汇聚全球 140+ 技术先行者及创新实践者,直击行业痛点,解锁可复制的经验与模式。这不仅是一场会议,更是一次对技术演进的集体探索。无论你是资深开发者,还是技术管理者,都能在这里有所收获,为下一步的技术决策提供方向。


阿里云高级开发工程师罗宇侠已确认出席并发表题为《Fluss 湖流一体:Lakehouse 架构实时化演进》的主题分享。湖仓一体 Lakehouse 凭借其开放性和成本效益,已经成为当今数据平台的主流架构。然而在 LakeHouse 架构下,数据的时效性最多只能达到分钟级。为了满足企业对实时数据分析的需求,通常需要额外引入秒级延迟的流存储(如 Kafka)。流存储游离在 LakeHouse 架构外,带来的成本、一致性、治理等问题都面临很大的挑战。


本次演讲将探讨流存储和 LakeHouse 架构割裂的现状下用户面临的问题和挑战,以及目前业界在融合两者上的趋势。然后会介绍流存储 Fluss 如何完美地融入进 LakeHouse 架构,无缝地将 LakeHouse 架构进行实时化改造,深度解析其技术架构和原理,分析该架构相比割裂地使用流存储和 LakeHouse 架构能带来的收益。最后将分享基于 Fluss 来构建实时 LakeHouse 架构的最佳实践,希望能给听众带来一些帮助。


罗宇侠是阿里云智能高级开发工程师,Apache Flink Committer,早期致力于 Flink 与 Hive 生态以及数据湖生态的集成。目前专注于流存储 Fluss 项目,负责湖流一体的研发工作。他在本次会议的详细演讲内容如下:


演讲提纲

1. 湖流割裂的现状和挑战

  • LakeHouse 架构下,流存储与湖存储割裂的现状

  • 流存储与湖存储割裂面临的挑战

2. 湖流融合的业界趋势

  • 业界在流批融合方向上的趋势

  • 业界在流批融合方向上提出的解决方案

3. Fluss 湖流一体架构和技术原理

  • Fluss 湖流一体的架构设计

  • Fluss 湖流一体的技术原理解析

4. 基于 Fluss 构建实时 Lakehouse

  • 结合湖格式 Paimon,分析 Fluss 构建实时 Lakehouse 的收益

  • Fluss 构建实时 Lakehouse 最佳实践

5. Demo 演示 & 未来规划

  • Demo 展示 Fluss 湖流一体的能力

  • Fluss 在湖流一体方向的未来规划


您认为,这样的技术在实践过程中有哪些痛点?

  • 不可避免依然需要引入提供秒级延迟的流存储

  • Fluss 同步到湖存储的 Service 依然需要管理


演讲亮点

  • LakeHouse 架构在实时化方向上的演进趋势

  • Fluss 作为面向实时分析设计的流存储,如何无缝融合进 LakeHouse 架构,满足数据分析的实时化需求


听众收益

  • 了解当前 LakeHouse 架构在数据时效性上的痛点

  • Fluss 的湖流一体架构是如何解决 LakeHouse 架构时效性上的痛点的

  • 收获基于 Fluss 来构建实时 LakeHouse 架构的最佳实践


除此之外,本次大会还策划了多模态大模型及应用AI 驱动的工程生产力面向 AI 的研发基础设施不被 AI 取代的工程师大模型赋能 AIOps云成本优化Lakehouse 架构演进越挫越勇的大前端等专题,届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。


目前,所有大会演讲嘉宾已结集完毕,了解更多报名和详情信息可扫码或联系票务经理 18514549229 咨询。



为确保大会顺利举行,现诚邀志愿者加入,时长 3.5 天。可与大咖交流、获极客时间 VIP 月卡、大会演讲视频资源和证书。主办方提供午餐和交通支持。时间:4 月 9 日 13:00-4 月 12 日 18:00,地点:北京万达嘉华酒店,报名链接:https://www.infoq.cn/form/?id=2088

2025-04-06 10:008588

评论

发布
暂无评论

你应该知道的数仓安全——默认权限实现共享schema

华为云开发者联盟

数据库 数据 schema

程序员在编程过程中,经常会在代码中使用到“where 1=1”,这是为什么呢?

小Q

Java 数据库 学习 架构 面试

架构师训练营 1 期 -- 第八周笔记

曾彪彪

极客大学架构师训练营

从 Android 到 Java:如何从不同视角解决问题?

Java架构师迁哥

这篇 MySQL 索引和 B+Tree 讲的太通俗易懂!

MySQL 面试 数据库事务 索引结构

隧道视野效应 - 认知局限

石云升

教育 认知 隧道视野效应

架构师训练营 -week08-作业

大刘

极客大学架构师训练营

《迅雷链精品课》第四课:区块链技术发展趋势

迅雷链

区块链

如何提升存储性能之IO模型和AIO大揭秘

焱融科技

数据 io 存储 焱融科技 分布式文件存储

一周信创舆情观察(11.2~11.8)

统小信uos

区块链技术发展需加强核心技术自主创新

CECBC

区块链技术

解密猫晚直播技术:如何保障全球200多个国家和地区同时在线狂欢?

阿里云CloudImagine

Nacos配置中心和服务的注册发现

牛初九

微服务 Spring Cloud nacos spring cloud alibaba

iOS底层系统小结

shirley

ios

数字货币是数字经济发展基石

CECBC

数字货币

Scala-语法特性(一):类型和变量定义

正向成长

scala

太牛了,腾讯T4Java技术专家手撸的Redis技术笔记,一周内下载量已突破30W。

Java架构之路

Java 程序员 架构 面试 编程语言

16张图带你彻底搞懂基数排序

Java架构师迁哥

58个基础案例+2个综合案例带你探索微服务的神秘世界

小Q

Java 学习 编程 面试 开发

架构师训练营第四周作业

李日盛

架构

手把手教你使用ModelArts的自动学习识别毒蘑菇分类

华为云开发者联盟

学习 AI 图像识别

28天刷完这份内容多大349页的阿里Java面试通关手册,我成功闯进了字节跳动!

Java架构之路

Java 程序员 架构 面试 编程语言

“双11”正成为区块链场景应用“练兵场”

CECBC

大数据

linux下定位多线程内存越界问题实践总结

小Q

Java Linux 学习 面试 多线程

“先加密后签名”是不是安全?看完这篇就秒懂!

华为云开发者联盟

安全 加密 签名

【涂鸦物联网足迹】涂鸦云平台接口列表—智能门锁

IoT云工坊

人工智能 云计算 物联网 API 智能门锁

架构师训练营第四周学习笔记

李日盛

笔记

如果说数据是推动自动驾驶的原动力,那么存储扮演什么角色?

焱融科技

自动驾驶 数据 存储 文件存储 自动驾驶训练

【得物技术】机器学习在图形验证码识别上的应用

得物技术

学习 算法 测试 图像识别 验证码

Maven 入门

少平

Java

Maven 进阶

少平

阿里云高级开发工程师罗宇侠将在QCon 北京分享 Lakehouse 架构实时化演进实践_软件工程_QCon全球软件开发大会_InfoQ精选文章