写点什么

StarRocks x Iceberg: 探索 Lakehouse 架构极致查询性能|QCon 北京

  • 2025-04-06
    北京
  • 本文字数:1391 字

    阅读完需:约 5 分钟

大小:706.58K时长:04:01
StarRocks x Iceberg: 探索Lakehouse架构极致查询性能|QCon 北京

2025 年 4 月 10 - 12 日,QCon 全球软件开发大会将汇聚全球 140+ 技术先行者及创新实践者,直击行业痛点,解锁可复制的经验与模式。这不仅是一场会议,更是一次对技术演进的集体探索。无论你是资深开发者,还是技术管理者,都能在这里有所收获,为下一步的技术决策提供方向。


StarRocks 研发工程师王云霏已确认出席并发表题为《StarRocks x Iceberg: 探索 Lakehouse 架构极致查询性能》的主题分享。Lakehouse 通过融合数据湖与数据仓库的优势,能实现 “One Data, All Analytics” 的业务价值,基于 StarRocks 构建 Lakehouse,只需三步:选择开放的数据湖作为底座,例如 Iceberg 、 Paimon;StarRocks 直接分析湖上的数据,满足绝大部分场景的性能诉求;如果分析性能不满足要求,则基于数据湖创建物化视图加速。StarRocks 查询 Iceberg 的性能是 Trino 的 3-6 倍,查询 Delta Lake 的性能是 Databricks Photon 的 2 倍。本次演讲将介绍典型案例,分享 StarRocks 在 Lakehouse 架构中的定位和未来规划,揭开 StarRocks 极致查询性能的面纱。


王云霏 StarRocks 数据湖分析研发工程师,本科毕业于清华大学电子工程系,而后在国家高性能集成电路设计中心从事计算机体系结构研究工作,参与“核高基重大专项”1 项,发表学术论文 3 篇,近年来主要从事数据湖分析相关工作,是 StarRocks/ClickHouse/Trino Contributor ,目前专注于 Lakehouse 性能优化相关工作。他在本次会议的详细演讲内容如下:


演讲提纲

1. 数据分析架构演进与挑战

  • Warehouse -> Data lake -> Lakehouse

  • StarRocks 快速迭代,持续创新 1.x 极速查询-> 2.x 融合统一-> 3.x 湖仓一体 Lakehouse

2. 基于 StarRocks 构建 Lakehouse

  • 如何构建 Lakehouse 架构 Storage-> Catalog -> Engine

  • StarRocks Lakehouse 基本架构

  • StarRocks x Iceberg 构建 Lakehouse,案例小红书/携程/微信

3. StarRocks x Iceberg 性能优化

  • StarRocks 最新 Performance benchmark

  • Metadata Cache + 分布式 Plan

  • 增量投递

  • Native Parquet Reader

  • Data Cache

  • 物化视图

  • ...

4. StarRocks Lakehouse 未来规划


您认为,这样的技术在实践过程中有哪些痛点?

  • 性能对于 Lakehouse 架构至关重要,StarRocks 通过不断提升性能上限,实现 Lakehouse 极致查询性能,真正实现 “One Data, All Analytics”


演讲亮点

  • 基于 StarRocks 解锁 Lakehouse 极致查询性能,以及 StarRocks 在 Lakehouse 架构中的定位与未来规划

  • 着重介绍 StarRocks 如何打造极致性能


听众收益

  • 了解 StarRocks 在 Lakehouse 架构上的最新进展和极致性能,为技术选型提供更多参考

  • 了解 StarRocks 性能优化的底层原理

  • 了解 StarRocks Lakehouse 架构的未来规划


除此之外,本次大会还策划了多模态大模型及应用、AI 驱动的工程生产力、面向 AI 的研发基础设施不被 AI 取代的工程师大模型赋能 AIOps云成本优化Lakehouse 架构演进越挫越勇的大前端等专题,届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。


目前,所有大会演讲嘉宾已结集完毕,了解更多报名和详情信息可扫码或联系票务经理 18514549229 咨询。



为确保大会顺利举行,现诚邀志愿者加入,时长 3.5 天。可与大咖交流、获极客时间 VIP 月卡、大会演讲视频资源和证书。主办方提供午餐和交通支持。时间:4 月 9 日 13:00-4 月 12 日 18:00,地点:北京万达嘉华酒店,报名链接:https://www.infoq.cn/form/?id=2088

2025-04-06 14:0010652

评论

发布
暂无评论
发现更多内容

从 Greenplum 到 YMatrix,某头部动力电池厂商核心业务数据的迁移实践

YMatrix 超融合数据库

greenplum 迁移数据 超融合数据库 YMatrix 电池厂商

OWASP Top 10漏洞解析(3)- A3:Injection 注入攻击

云计算 软件开发 华为云

要体验 AI 编程助手吗?

亚马逊云科技 (Amazon Web Services)

亚马逊云科技 AIGC

像win一样使用Mac的鼠标右键:MouseBoost Pro

展初云

Mac软件 鼠标扩展

实现动态表单的一种思路 | 京东云技术团队

京东科技开发者

元数据 动态表单 前后端交互 企业号10月PK榜

火山引擎DataTester智能发布:助力产品降低功能迭代风险

字节跳动数据平台

大数据 A/B 测试 对比实验 数字化增长 企业号10月PK榜

火山引擎DataLeap一站式数据治理解决方案及平台架构

字节跳动数据平台

大数据 数据中台 数据安全 数据研发 企业号10月PK榜

3D孪生场景搭建:参数化模型

3D建模设计

模型 数字孪生 参数化模型

3D孪生场景搭建:3D漫游

3D建模设计

数字孪生 3D编辑器 3D漫游

零售业:别让数据安全成为业务的绊脚石!

极盾科技

数据安全 零售行业

Embedding技术与应用 (2) :神经网络的发展及现代Embedding方法简介

Baihai IDP

人工智能 神经网络 AI 嵌入 白海科技

MySQL innoDB 间隙锁产生的死锁问题 | 京东云技术团队

京东科技开发者

MySQL innodb 死锁 Mysql死锁 企业号10月PK榜

软件测试/测试开发丨接口测试学习笔记-常见的接口协议

测试人

软件测试 HTTP 接口测试 接口协议

透明度和透明贴图制作玻璃水杯

3D建模设计

3D模型 材质修改 纹理贴图

3D孪生场景SDK:Viwer 孪生世界

3D建模设计

数字孪生

DeFi 的兴起:与加密货币交易所应用程序开发的协同作用

区块链软件开发推广运营

交易所开发 dapp开发 区块链开发 链游开发 NFT开发

3D孪生场景搭建:模拟仿真

3D建模设计

数字孪生 3D应用场景 3D编辑器

3D孪生场景搭建:模型区域摆放

3D建模设计

数字孪生 3D场景编辑器

位移贴图和法线贴图的区别

3D建模设计

材质修改 纹理贴图

电力行业首个自主可控的大模型发布了!百度飞桨、文心大模型提供支持

飞桨PaddlePaddle

飞桨 大模型 文心大模型

开源即时通讯IM框架 MobileIMSDK v6.4 发布

JackJiang

网络编程 即时通讯 IM

对于数字化转型,数据代表了什么?

IT民工大叔

数据 数字化转型 数字化

多数据源管理:掌握@DS注解的威力 | 京东云技术团队

京东科技开发者

mybatis Mybatis Plus 企业号10月PK榜 DS注解

【AI模型】首个Joy 模型诞生!!!全民生成Joy大片 | 京东云技术团队

京东科技开发者

AI模型 企业号10月PK榜 京东joy

小白修图必备Topaz Photo AI for Mac图像智能处理工具

展初云

图像处理 Mac 软件 修图软件

苹果Mac视频编辑软件 Final Cut Pro

展初云

Mac软件 视频编辑工具 FCPX软件 fcpx

递归解析Json,实现生成可视化Tree+快速获取JsonPath | 京东云技术团队

京东科技开发者

json tree 企业号10月PK榜 JsonPath

EMQ 云边协同的 IIoT 解决方案架构,亮相 2023 工博会

新消费日报

解读亚马逊云服务器 EC2 预留实例与按需实例的区别,及其在成本节约的优势

亚马逊云科技 (Amazon Web Services)

sdk 云服务器 Amazon EC2

StarRocks x Iceberg: 探索Lakehouse架构极致查询性能|QCon 北京_架构_QCon全球软件开发大会_InfoQ精选文章