写点什么

StarRocks x Iceberg: 探索 Lakehouse 架构极致查询性能|QCon 北京

  • 2025-04-06
    北京
  • 本文字数:1391 字

    阅读完需:约 5 分钟

大小:706.58K时长:04:01
StarRocks x Iceberg: 探索Lakehouse架构极致查询性能|QCon 北京

2025 年 4 月 10 - 12 日,QCon 全球软件开发大会将汇聚全球 140+ 技术先行者及创新实践者,直击行业痛点,解锁可复制的经验与模式。这不仅是一场会议,更是一次对技术演进的集体探索。无论你是资深开发者,还是技术管理者,都能在这里有所收获,为下一步的技术决策提供方向。


StarRocks 研发工程师王云霏已确认出席并发表题为《StarRocks x Iceberg: 探索 Lakehouse 架构极致查询性能》的主题分享。Lakehouse 通过融合数据湖与数据仓库的优势,能实现 “One Data, All Analytics” 的业务价值,基于 StarRocks 构建 Lakehouse,只需三步:选择开放的数据湖作为底座,例如 Iceberg 、 Paimon;StarRocks 直接分析湖上的数据,满足绝大部分场景的性能诉求;如果分析性能不满足要求,则基于数据湖创建物化视图加速。StarRocks 查询 Iceberg 的性能是 Trino 的 3-6 倍,查询 Delta Lake 的性能是 Databricks Photon 的 2 倍。本次演讲将介绍典型案例,分享 StarRocks 在 Lakehouse 架构中的定位和未来规划,揭开 StarRocks 极致查询性能的面纱。


王云霏 StarRocks 数据湖分析研发工程师,本科毕业于清华大学电子工程系,而后在国家高性能集成电路设计中心从事计算机体系结构研究工作,参与“核高基重大专项”1 项,发表学术论文 3 篇,近年来主要从事数据湖分析相关工作,是 StarRocks/ClickHouse/Trino Contributor ,目前专注于 Lakehouse 性能优化相关工作。他在本次会议的详细演讲内容如下:


演讲提纲

1. 数据分析架构演进与挑战

  • Warehouse -> Data lake -> Lakehouse

  • StarRocks 快速迭代,持续创新 1.x 极速查询-> 2.x 融合统一-> 3.x 湖仓一体 Lakehouse

2. 基于 StarRocks 构建 Lakehouse

  • 如何构建 Lakehouse 架构 Storage-> Catalog -> Engine

  • StarRocks Lakehouse 基本架构

  • StarRocks x Iceberg 构建 Lakehouse,案例小红书/携程/微信

3. StarRocks x Iceberg 性能优化

  • StarRocks 最新 Performance benchmark

  • Metadata Cache + 分布式 Plan

  • 增量投递

  • Native Parquet Reader

  • Data Cache

  • 物化视图

  • ...

4. StarRocks Lakehouse 未来规划


您认为,这样的技术在实践过程中有哪些痛点?

  • 性能对于 Lakehouse 架构至关重要,StarRocks 通过不断提升性能上限,实现 Lakehouse 极致查询性能,真正实现 “One Data, All Analytics”


演讲亮点

  • 基于 StarRocks 解锁 Lakehouse 极致查询性能,以及 StarRocks 在 Lakehouse 架构中的定位与未来规划

  • 着重介绍 StarRocks 如何打造极致性能


听众收益

  • 了解 StarRocks 在 Lakehouse 架构上的最新进展和极致性能,为技术选型提供更多参考

  • 了解 StarRocks 性能优化的底层原理

  • 了解 StarRocks Lakehouse 架构的未来规划


除此之外,本次大会还策划了多模态大模型及应用、AI 驱动的工程生产力、面向 AI 的研发基础设施不被 AI 取代的工程师大模型赋能 AIOps云成本优化Lakehouse 架构演进越挫越勇的大前端等专题,届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。


目前,所有大会演讲嘉宾已结集完毕,了解更多报名和详情信息可扫码或联系票务经理 18514549229 咨询。



为确保大会顺利举行,现诚邀志愿者加入,时长 3.5 天。可与大咖交流、获极客时间 VIP 月卡、大会演讲视频资源和证书。主办方提供午餐和交通支持。时间:4 月 9 日 13:00-4 月 12 日 18:00,地点:北京万达嘉华酒店,报名链接:https://www.infoq.cn/form/?id=2088

2025-04-06 14:0010524

评论

发布
暂无评论

netty案例,netty4.1高级应用篇一,手写RPC框架第一章《自定义配置xml》

小傅哥

Java Netty

spring事务的这10种坑,你稍不注意可能就会踩中

简爱W

一个实用的开源项目,可以快速将 Elasticsearch 数据导出到 csv

AlwaysBeta

Python 数据库 elasticsearch Kibana Lucene Elastic Search

netty案例,netty4.1高级应用篇三,手写RPC框架第三章《RPC中间件》

小傅哥

Netty 小傅哥

数字化背景下的经济社会发展的新特征 新趋势

CECBC

区块链 人工智能 大数据

区块链的共识机制有哪些好处优势?

CECBC

区块链 分布式 金融

8锁问题

HeGuang

synchronized

netty案例,netty4.1源码分析篇四《ByteBuf的数据结构在使用方式中的剖析》

小傅哥

Java Netty 小傅哥

netty案例,netty4.1源码分析篇六《Netty异步架构监听类Promise源码分析》

小傅哥

Netty 小傅哥

大数据技术思想入门(二):分布式存储集群特点

cristal

Java 大数据 hadoop 分布式

做职场里的“超级英雄”,需要怎样的盔甲与工具?

脑极体

大龄程序员的自我介绍 v 0.1

escray

学习 面试 自我介绍

netty案例,netty4.1高级应用篇二,手写RPC框架第二章《netty通信》

小傅哥

Netty 小傅哥

Week10--课后作业

Geek_165f3d

netty案例,netty4.1源码分析篇五《一行简单的writeAndFlush都做了哪些事》

小傅哥

Java Netty 小傅哥

世界正在重塑 加密货币将扮演什么角色

CECBC

数字货币 加密货币

书摘之《堂吉诃德》—— 谁不曾想过仗剑走天涯?

小匚

读书笔记

netty案例,netty4.1中级拓展篇十一《Netty基于ChunkedStream数据流切块传输》

小傅哥

Java Netty 小傅哥

netty案例,netty4.1源码分析篇一《NioEventLoopGroup源码分析》

小傅哥

Netty 小傅哥

netty案例,netty4.1源码分析篇二《ServerBootstrap配置与绑定启动》

小傅哥

Java Netty 小傅哥

Week10---课后总结

Geek_165f3d

JDK8 日期 API 使用

HeGuang

JDK1.8

netty案例,netty4.1中级拓展篇八《Netty心跳服务与断线重连》

小傅哥

Netty 小傅哥

netty案例,netty4.1中级拓展篇九《Netty集群部署实现跨服务端通信的落地方案》

小傅哥

Java Netty 小傅哥

netty案例,netty4.1中级拓展篇十《Netty接收发送多种协议消息类型的通信处理方案》

小傅哥

Java Netty 小傅哥

阿里内部流传的Mybatis笔记终于流传出来了,赶紧收藏

简爱W

程序开发中的持续集成、持续交付、持续部署

石云升

持续集成 持续交付 持续部署 自动化部署

netty案例,netty4.1中级拓展篇十二《Netty流量整形数据流速率控制分析与实战》

小傅哥

Netty 小傅哥

netty案例,netty4.1中级拓展篇十三《Netty基于SSL实现信息传输过程中双向加密验证》

小傅哥

Netty 小傅哥

netty案例,netty4.1源码分析篇三《Netty服务端初始化过程以及反射工厂的作用》

小傅哥

Java Netty 小傅哥

Spring的Controller是单例还是多例?怎么保证并发的安全

简爱W

StarRocks x Iceberg: 探索Lakehouse架构极致查询性能|QCon 北京_架构_QCon全球软件开发大会_InfoQ精选文章