AICon 上海站|日程100%上线,解锁Al未来! 了解详情
写点什么

阿里云高级开发工程师罗宇侠将在 QCon 北京分享 Lakehouse 架构实时化演进实践

  • 2025-04-06
    北京
  • 本文字数:1364 字

    阅读完需:约 4 分钟

大小:690.97K时长:03:55
阿里云高级开发工程师罗宇侠将在QCon 北京分享 Lakehouse 架构实时化演进实践

2025 年 4 月 10 - 12 日,QCon 全球软件开发大会将汇聚全球 140+ 技术先行者及创新实践者,直击行业痛点,解锁可复制的经验与模式。这不仅是一场会议,更是一次对技术演进的集体探索。无论你是资深开发者,还是技术管理者,都能在这里有所收获,为下一步的技术决策提供方向。


阿里云高级开发工程师罗宇侠已确认出席并发表题为《Fluss 湖流一体:Lakehouse 架构实时化演进》的主题分享。湖仓一体 Lakehouse 凭借其开放性和成本效益,已经成为当今数据平台的主流架构。然而在 LakeHouse 架构下,数据的时效性最多只能达到分钟级。为了满足企业对实时数据分析的需求,通常需要额外引入秒级延迟的流存储(如 Kafka)。流存储游离在 LakeHouse 架构外,带来的成本、一致性、治理等问题都面临很大的挑战。


本次演讲将探讨流存储和 LakeHouse 架构割裂的现状下用户面临的问题和挑战,以及目前业界在融合两者上的趋势。然后会介绍流存储 Fluss 如何完美地融入进 LakeHouse 架构,无缝地将 LakeHouse 架构进行实时化改造,深度解析其技术架构和原理,分析该架构相比割裂地使用流存储和 LakeHouse 架构能带来的收益。最后将分享基于 Fluss 来构建实时 LakeHouse 架构的最佳实践,希望能给听众带来一些帮助。


罗宇侠是阿里云智能高级开发工程师,Apache Flink Committer,早期致力于 Flink 与 Hive 生态以及数据湖生态的集成。目前专注于流存储 Fluss 项目,负责湖流一体的研发工作。他在本次会议的详细演讲内容如下:


演讲提纲

1. 湖流割裂的现状和挑战

  • LakeHouse 架构下,流存储与湖存储割裂的现状

  • 流存储与湖存储割裂面临的挑战

2. 湖流融合的业界趋势

  • 业界在流批融合方向上的趋势

  • 业界在流批融合方向上提出的解决方案

3. Fluss 湖流一体架构和技术原理

  • Fluss 湖流一体的架构设计

  • Fluss 湖流一体的技术原理解析

4. 基于 Fluss 构建实时 Lakehouse

  • 结合湖格式 Paimon,分析 Fluss 构建实时 Lakehouse 的收益

  • Fluss 构建实时 Lakehouse 最佳实践

5. Demo 演示 & 未来规划

  • Demo 展示 Fluss 湖流一体的能力

  • Fluss 在湖流一体方向的未来规划


您认为,这样的技术在实践过程中有哪些痛点?

  • 不可避免依然需要引入提供秒级延迟的流存储

  • Fluss 同步到湖存储的 Service 依然需要管理


演讲亮点

  • LakeHouse 架构在实时化方向上的演进趋势

  • Fluss 作为面向实时分析设计的流存储,如何无缝融合进 LakeHouse 架构,满足数据分析的实时化需求


听众收益

  • 了解当前 LakeHouse 架构在数据时效性上的痛点

  • Fluss 的湖流一体架构是如何解决 LakeHouse 架构时效性上的痛点的

  • 收获基于 Fluss 来构建实时 LakeHouse 架构的最佳实践


除此之外,本次大会还策划了多模态大模型及应用AI 驱动的工程生产力面向 AI 的研发基础设施不被 AI 取代的工程师大模型赋能 AIOps云成本优化Lakehouse 架构演进越挫越勇的大前端等专题,届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。


目前,所有大会演讲嘉宾已结集完毕,了解更多报名和详情信息可扫码或联系票务经理 18514549229 咨询。



为确保大会顺利举行,现诚邀志愿者加入,时长 3.5 天。可与大咖交流、获极客时间 VIP 月卡、大会演讲视频资源和证书。主办方提供午餐和交通支持。时间:4 月 9 日 13:00-4 月 12 日 18:00,地点:北京万达嘉华酒店,报名链接:https://www.infoq.cn/form/?id=2088

2025-04-06 10:006477

评论

发布
暂无评论

2021年终总结:30多岁依然没有放弃自我成长!

王磊

Dubbo 框架学习笔记十二

风翱

dubbo 12月日更

Netflix系统架构

俞凡

架构 微服务 netflix 大厂实践

git tips(qbit)

qbit

git #Github

《权力——为什么只为某些人拥有》读书笔记

圣迪

特质 权力 影响力

虚拟机性能监控与故障处理

Joseph295

疫情下的圣诞节

张老蔫

28天写作

模块三-架构文档

撿破爛ぃ

「架构实战营」

【安全漏洞】CVE-2021-42287&CVE-2021-42278 域内提权

H

网络安全 信息安全 漏洞

Spark-概览

xujiangniao

失败与成功是一体两面

石云升

学习笔记 28天写作 12月日更

Code Review全面审查清单

俞凡

Code Review 生产力

100% 展示 MySQL 语句执行的神器-Optimizer Trace

程序员历小冰

MySQL 28天写作 12月日更

宏昆酒店集团携手DataPipeline打造实时数据融合平台,酒店业精益管理的新秘诀

DataPipeline数见科技

数据库 中间件 数据同步 数据融合 数据管理

数据管理典范!「山东城商行联盟数据库准实时数据采集系统」入选2021中国大数据应用样板案例

DataPipeline数见科技

大数据 数据同步 数据融合 数据迁移 数据管理

儿童教育有感-说话用词不当

wood

28天写作

Spring核心原理之 IoC容器中那些鲜为人知的细节(3)

Tom弹架构

Java spring 源码

架构实战营模块三课后作业-外包学生管理系统架构文档

Jude

架构实战营

HarmonyOS(鸿蒙)——双击事件

李子捌

28天写作 21天挑战 鸿蒙开发 12月日更

linux动态链接的程序如何在其他系统上运行

SkyFire

动态链接 装载器

Gin-Vue-Admin 使用gin+vue进行极速开发的全栈开发基础平台【gva第一节】

坚果

Go 28天写作 Vue 3 12月日更

注意:字符串substring方法在jkd6,7,8中的差异

CRMEB

模块四-reids存储方案

撿破爛ぃ

「架构实战营」

kali系统之复现漏洞分析与审计

网络安全学海

黑客 网络安全 安全 信息安全 渗透测试

[架构实战营] 模块三作业

Geek_0ed632

「架构实战营」

webpack-dev-server启动后, localhost:8080返回index.html的原理

汪子熙

JavaScript 前端开发 webpack 28天写作 12月日更

程序员做技术管理需要懂哪些方面?

Seven的代码实验室

程序员 技术管理

【Java 进阶训练营】 JVM 知识总结

wgl

从渔夫和游客说到晒太阳的狗狗派

mtfelix

28天写作

FFmpeg的一些使用实践

为自己带盐

ffmpeg 28天写作 12月日更

2021,中国计算产业的“攀登者勋章”

脑极体

阿里云高级开发工程师罗宇侠将在QCon 北京分享 Lakehouse 架构实时化演进实践_软件工程_QCon全球软件开发大会_InfoQ精选文章