AICon 上海站|日程100%上线,解锁Al未来! 了解详情
写点什么

StarRocks x Iceberg: 探索 Lakehouse 架构极致查询性能|QCon 北京

  • 2025-04-06
    北京
  • 本文字数:1391 字

    阅读完需:约 5 分钟

大小:706.58K时长:04:01
StarRocks x Iceberg: 探索Lakehouse架构极致查询性能|QCon 北京

2025 年 4 月 10 - 12 日,QCon 全球软件开发大会将汇聚全球 140+ 技术先行者及创新实践者,直击行业痛点,解锁可复制的经验与模式。这不仅是一场会议,更是一次对技术演进的集体探索。无论你是资深开发者,还是技术管理者,都能在这里有所收获,为下一步的技术决策提供方向。


StarRocks 研发工程师王云霏已确认出席并发表题为《StarRocks x Iceberg: 探索 Lakehouse 架构极致查询性能》的主题分享。Lakehouse 通过融合数据湖与数据仓库的优势,能实现 “One Data, All Analytics” 的业务价值,基于 StarRocks 构建 Lakehouse,只需三步:选择开放的数据湖作为底座,例如 Iceberg 、 Paimon;StarRocks 直接分析湖上的数据,满足绝大部分场景的性能诉求;如果分析性能不满足要求,则基于数据湖创建物化视图加速。StarRocks 查询 Iceberg 的性能是 Trino 的 3-6 倍,查询 Delta Lake 的性能是 Databricks Photon 的 2 倍。本次演讲将介绍典型案例,分享 StarRocks 在 Lakehouse 架构中的定位和未来规划,揭开 StarRocks 极致查询性能的面纱。


王云霏 StarRocks 数据湖分析研发工程师,本科毕业于清华大学电子工程系,而后在国家高性能集成电路设计中心从事计算机体系结构研究工作,参与“核高基重大专项”1 项,发表学术论文 3 篇,近年来主要从事数据湖分析相关工作,是 StarRocks/ClickHouse/Trino Contributor ,目前专注于 Lakehouse 性能优化相关工作。他在本次会议的详细演讲内容如下:


演讲提纲

1. 数据分析架构演进与挑战

  • Warehouse -> Data lake -> Lakehouse

  • StarRocks 快速迭代,持续创新 1.x 极速查询-> 2.x 融合统一-> 3.x 湖仓一体 Lakehouse

2. 基于 StarRocks 构建 Lakehouse

  • 如何构建 Lakehouse 架构 Storage-> Catalog -> Engine

  • StarRocks Lakehouse 基本架构

  • StarRocks x Iceberg 构建 Lakehouse,案例小红书/携程/微信

3. StarRocks x Iceberg 性能优化

  • StarRocks 最新 Performance benchmark

  • Metadata Cache + 分布式 Plan

  • 增量投递

  • Native Parquet Reader

  • Data Cache

  • 物化视图

  • ...

4. StarRocks Lakehouse 未来规划


您认为,这样的技术在实践过程中有哪些痛点?

  • 性能对于 Lakehouse 架构至关重要,StarRocks 通过不断提升性能上限,实现 Lakehouse 极致查询性能,真正实现 “One Data, All Analytics”


演讲亮点

  • 基于 StarRocks 解锁 Lakehouse 极致查询性能,以及 StarRocks 在 Lakehouse 架构中的定位与未来规划

  • 着重介绍 StarRocks 如何打造极致性能


听众收益

  • 了解 StarRocks 在 Lakehouse 架构上的最新进展和极致性能,为技术选型提供更多参考

  • 了解 StarRocks 性能优化的底层原理

  • 了解 StarRocks Lakehouse 架构的未来规划


除此之外,本次大会还策划了多模态大模型及应用、AI 驱动的工程生产力、面向 AI 的研发基础设施不被 AI 取代的工程师大模型赋能 AIOps云成本优化Lakehouse 架构演进越挫越勇的大前端等专题,届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。


目前,所有大会演讲嘉宾已结集完毕,了解更多报名和详情信息可扫码或联系票务经理 18514549229 咨询。



为确保大会顺利举行,现诚邀志愿者加入,时长 3.5 天。可与大咖交流、获极客时间 VIP 月卡、大会演讲视频资源和证书。主办方提供午餐和交通支持。时间:4 月 9 日 13:00-4 月 12 日 18:00,地点:北京万达嘉华酒店,报名链接:https://www.infoq.cn/form/?id=2088

2025-04-06 14:008056

评论

发布
暂无评论

K8S集群无法通过Service Name访问的故障

领创集团Advance Intelligence Group

天翼云为欧拉社区贡献首个C++热补丁 加速推进联创技术落地应用

天翼云开发者社区

【赛事预告】云上开发,高效智能——第二届阿里云ECS CloudBuild开发者大赛即将启动

阿里云弹性计算

开发者大赛 自动化运维 云上运维 机密计算 内存缓存

青藤“基于工业互联网的安全方案”成功入选信通院守卫者计划

青藤云安全

主机安全 互联网安全

先睹为快 | 卓越示范中心ETB003云原生安全实验测试床

青藤云安全

容器安全 信通院 云原生安全

小程序容器技术,加速工业互联网平台建设

Geek_99967b

小程序 工业互联网 小程序容器

外呼机器人7大难题,看网易云商如何攻破?

网易智企

AI 机器人

从小白到架构师原来是这样修炼出来的

C++后台开发

架构师 C++后台开发 软件架构师 服务器架构师 C++架构师

详解MOVE PROTOCOL的测试版,让健康运动如影随形

西柚子

【ELT.ZIP】OpenHarmony啃论文俱乐部—硬件加速的快速无损压缩

ELT.ZIP

OpenHarmony 压缩算法 ELT.ZIP 啃论文俱乐部

传统企业数字化转型,到底难在哪里?

飞算JavaAI开发助手

不愧是美团内部“接口自动化测试学习笔记”这细节讲解,神了

伤心的辣条

Python 程序人生 软件测试 自动化测试 接口测试

Python接口自动化核心模块 - 数据库操作和日志

伤心的辣条

程序员 程序人生 软件测试 接口测试 Python自动化测试

【ELT.ZIP】OpenHarmony啃论文俱乐部—一种深度神经网压缩算法

ELT.ZIP

OpenHarmony 压缩算法 ELT.ZIP 啃论文俱乐部 深度神经网

EMQ作为首批创始会员单位,加入SAP可持续发展与实践战略联盟

EMQ映云科技

物联网 IoT SAP emq 6月月更

Vue-9-计算属性的属性

Python研究所

6月月更

详解MOVE PROTOCOL的测试版,让健康运动如影随形

鳄鱼视界

数字先锋 | 牵手中资医疗医药,开创医疗医药应急保障服务新格局

天翼云开发者社区

云原生存储解决方案Rook-Ceph与Rainbond结合的实践

北京好雨科技有限公司

Kubernetes PaaS Ceph rainbond

天人合一物我相融,站点升级渐进式Web应用PWA(Progressive Web Apps)实践

刘悦的技术博客

前端 App 应用 Web JS SDK PWA

直播场景音频降噪,传统算法 VS AI 算法对比和实践

融云 RongCloud

单线程性能炸裂 英特尔以Sapphire Rapids强势角逐AI计算市场

科技之家

实战邮件攻击简要分析【网络安全】

网络安全学海

网络安全 安全 渗透测试 WEB安全 漏洞挖掘

安心+10000

天翼云开发者社区

主数据管理平台功能模型介绍

agileai

Java 数据治理 数据模型 主数据平台 功能模型

Charles 工具如何做断点测试

伤心的辣条

Python 程序人生 软件测试 自动化测试 接口测试

What are the uses of LED display?

Dylan

LED LED display

天翼云电脑打造极致流畅与安全 助企业数字办公升级

天翼云开发者社区

Elux-从"微前端"到“微模块”

hiisea

前端框架 微前端 微模块 elux

【ELT.ZIP】OpenHarmony啃论文俱乐部—gpu上高效无损压缩浮点数

ELT.ZIP

鸿蒙 压缩算法 Openharmony啃论文俱乐部 ndzip

数字先锋| 助力打造国有资本运营升级版 中国国新构建数字化转型新格局

天翼云开发者社区

StarRocks x Iceberg: 探索Lakehouse架构极致查询性能|QCon 北京_架构_QCon全球软件开发大会_InfoQ精选文章