写点什么

阿里云高级开发工程师罗宇侠将在 QCon 北京分享 Lakehouse 架构实时化演进实践

  • 2025-04-06
    北京
  • 本文字数:1364 字

    阅读完需:约 4 分钟

大小:690.97K时长:03:55
阿里云高级开发工程师罗宇侠将在QCon 北京分享 Lakehouse 架构实时化演进实践

2025 年 4 月 10 - 12 日,QCon 全球软件开发大会将汇聚全球 140+ 技术先行者及创新实践者,直击行业痛点,解锁可复制的经验与模式。这不仅是一场会议,更是一次对技术演进的集体探索。无论你是资深开发者,还是技术管理者,都能在这里有所收获,为下一步的技术决策提供方向。


阿里云高级开发工程师罗宇侠已确认出席并发表题为《Fluss 湖流一体:Lakehouse 架构实时化演进》的主题分享。湖仓一体 Lakehouse 凭借其开放性和成本效益,已经成为当今数据平台的主流架构。然而在 LakeHouse 架构下,数据的时效性最多只能达到分钟级。为了满足企业对实时数据分析的需求,通常需要额外引入秒级延迟的流存储(如 Kafka)。流存储游离在 LakeHouse 架构外,带来的成本、一致性、治理等问题都面临很大的挑战。


本次演讲将探讨流存储和 LakeHouse 架构割裂的现状下用户面临的问题和挑战,以及目前业界在融合两者上的趋势。然后会介绍流存储 Fluss 如何完美地融入进 LakeHouse 架构,无缝地将 LakeHouse 架构进行实时化改造,深度解析其技术架构和原理,分析该架构相比割裂地使用流存储和 LakeHouse 架构能带来的收益。最后将分享基于 Fluss 来构建实时 LakeHouse 架构的最佳实践,希望能给听众带来一些帮助。


罗宇侠是阿里云智能高级开发工程师,Apache Flink Committer,早期致力于 Flink 与 Hive 生态以及数据湖生态的集成。目前专注于流存储 Fluss 项目,负责湖流一体的研发工作。他在本次会议的详细演讲内容如下:


演讲提纲

1. 湖流割裂的现状和挑战

  • LakeHouse 架构下,流存储与湖存储割裂的现状

  • 流存储与湖存储割裂面临的挑战

2. 湖流融合的业界趋势

  • 业界在流批融合方向上的趋势

  • 业界在流批融合方向上提出的解决方案

3. Fluss 湖流一体架构和技术原理

  • Fluss 湖流一体的架构设计

  • Fluss 湖流一体的技术原理解析

4. 基于 Fluss 构建实时 Lakehouse

  • 结合湖格式 Paimon,分析 Fluss 构建实时 Lakehouse 的收益

  • Fluss 构建实时 Lakehouse 最佳实践

5. Demo 演示 & 未来规划

  • Demo 展示 Fluss 湖流一体的能力

  • Fluss 在湖流一体方向的未来规划


您认为,这样的技术在实践过程中有哪些痛点?

  • 不可避免依然需要引入提供秒级延迟的流存储

  • Fluss 同步到湖存储的 Service 依然需要管理


演讲亮点

  • LakeHouse 架构在实时化方向上的演进趋势

  • Fluss 作为面向实时分析设计的流存储,如何无缝融合进 LakeHouse 架构,满足数据分析的实时化需求


听众收益

  • 了解当前 LakeHouse 架构在数据时效性上的痛点

  • Fluss 的湖流一体架构是如何解决 LakeHouse 架构时效性上的痛点的

  • 收获基于 Fluss 来构建实时 LakeHouse 架构的最佳实践


除此之外,本次大会还策划了多模态大模型及应用AI 驱动的工程生产力面向 AI 的研发基础设施不被 AI 取代的工程师大模型赋能 AIOps云成本优化Lakehouse 架构演进越挫越勇的大前端等专题,届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。


目前,所有大会演讲嘉宾已结集完毕,了解更多报名和详情信息可扫码或联系票务经理 18514549229 咨询。



为确保大会顺利举行,现诚邀志愿者加入,时长 3.5 天。可与大咖交流、获极客时间 VIP 月卡、大会演讲视频资源和证书。主办方提供午餐和交通支持。时间:4 月 9 日 13:00-4 月 12 日 18:00,地点:北京万达嘉华酒店,报名链接:https://www.infoq.cn/form/?id=2088

2025-04-06 10:008454

评论

发布
暂无评论

灵雀云Kube-OVN:基于OVN的开源Kubernetes网络实践

York

灵雀云 Kubernetes k8s Kube-OVN

Kube-OVN 0.6.0 发布,支持 IPv6、流量镜像及更多功能

York

灵雀云 Kubernetes k8s Kube-OVN

Kube-OVN再更新! v0.8.0 支持网关高可用以及网络监控集成

York

灵雀云 Kubernetes k8s Kube-OVN

一个20年技术老兵的 2020 年度技术总结

万俊峰Kevin

微服务 go-zero Go 语言

代码整洁之道

田维常

代码

即时通讯是怎么做到的?

v16629866266

Yarn RM写ZNode超数据量限制bug修复

kwang

大数据 zookeeper YARN

Python进阶系列文章汇总

Kaito

Python 爬虫

腾讯大佬亲自总结出“Java知识地图+学习路线”从点到面一应俱全!不看血亏

比伯

Java 编程 架构 程序人生 计算机

“58同城”架构师分享:联盟广告平台架构及实践

Java架构师迁哥

大作业一:架构设计方案评审

Nick~毓

Kube-OVN 0.5.0 发布,支持 NetworkPolicy、用户自定义网卡和MTU

York

灵雀云 Kubernetes k8s Kube-OVN

同城快递系统-大作业

三板斧

极客时间架构师一期

剖析JDK:强引用、软引用、弱引用、虚引用有何区别?

后台技术汇

28天写作

2021年的28天写作,从微信视频号开始

赵新龙

法庭上的CTO 28天写作

Spring Cloud(零)《总有一偏概述告诉你SpringCloud是什么》

小傅哥

小傅哥 springboot 28天写作

中国特色新基建可视化,工程监控画面还能这么美?你绝对没见过

一只数据鲸鱼

物联网 新基建 数据可视化 绿色工业

视频课程|Kube-OVN 入门与应用实战 (第1期)

York

灵雀云 Kubernetes k8s Kube-OVN

“持证”就能上岗 京东绿色内推招聘通道开启

京东科技开发者

云计算 大数据 程序人生

灵雀云开源项目 Kube-OVN 亮相开源基础设施峰会

York

灵雀云 Kubernetes k8s Kube-OVN

架构师训练营技术知识点

三板斧

架构师训练营第 1 期

Kube-OVN v0.9.0更新,网络可视化和控制平面稳定性提升

York

灵雀云 Kubernetes k8s Kube-OVN

电商后链路如何做好私域运营?

Linkflow

客户数据平台 CDP 客户画像

OVS 设计与实现阅读笔记,五年前的这篇论文里这些问题已经明了

York

Kubernetes k8s Kube-OVN

容器网络方案调研:都是网络插件,Kube-OVN凭啥脱颖而出?

York

灵雀云 Kubernetes k8s Kube-OVN

软件测试--缺陷报告

测试人生路

软件测试

再谈自研开源Kube-OVN, 设计思路及实现原理

York

灵雀云 Kubernetes k8s Kube-OVN

Kube-OVN v 0.7.0 发布,IPAM、子网和安全功能增强

York

灵雀云 Kubernetes k8s Kube-OVN

一份阿里Java学习路线出现“病毒式”传播,导致44人秋招同时拿到offer

Java架构师迁哥

教小师妹快速入门Maven,嘿嘿嘿...

田维常

maven

2021年阿里巴巴面试参考指南泰山版开源(Java版)

Java架构追梦

Java 架构 面试 分布式 微服务

阿里云高级开发工程师罗宇侠将在QCon 北京分享 Lakehouse 架构实时化演进实践_软件工程_QCon全球软件开发大会_InfoQ精选文章