Data Warebase 一体化数据平台的云原生实践 | QCon 北京

2025 年 4 月 10 - 12 日，QCon 全球软件开发大会将汇聚全球 140+ 技术先行者及创新实践者，直击行业痛点，解锁可复制的经验与模式。这不仅是一场会议，更是一次对技术演进的集体探索。无论你是资深开发者，还是技术管理者，都能在这里有所收获，为下一步的技术决策提供方向。

ProtonBase 技术副总裁杨克特已确认出席并发表题为《Data Warebase-- 一体化数据平台的云原生实践》的主题分享，深度解析两大场景的技术攻坚：针对 TP/AP 一体化，如何通过分布式事务保障强一致性、行列混合存储优化资源隔离，实现 TP 和 AP 负载的高效共存；针对实时离线一体化，如何通过实时处理和增量计算技术融合的方案，突破传统 Lambda 架构冗余开发与时效性瓶颈，解决当前主流流批引擎痛点。同时分享 Data Warebase 如何以云原生存算分离为基础，集成统一元数据、智能资源调度等能力，简化多场景架构复杂度，为未来数据与 AI 深度协同提供坚实底座。

杨克特具备 10 多年核心系统设计和研发经验。曾任阿里巴巴资深技术专家，负责过搜索引擎、资源调度、实时监控等系统的设计和研发。具备丰富的开源经验，是 Apache Flink 和 Apache Druid 的 PMC 成员，以及 Apache 软件基金会成员。他在本次会议的详细演讲内容如下：

演讲提纲

1.数据平台的云原生进程

- 典型数据架构的演进过程- 数据本身对上云带来的挑战

2.当前数据平台的痛点和新场景需求

- 常见痛点介绍- TP / AP 一体化需求- 离线实时融合需求- AI 数据协同

3.云原生数据平台的基础架构设计- 如何保证数据系统扩展性- 数据分片策略的取舍- 解决分布式数据不一致的问题- 如何保证数据系统的弹性- 实时读写给弹性带来的挑战- 选择合适的存算分离架构

4.TP / AP 一体化需求- 常见场景介绍- 介绍核心技术挑战和实践- 如何保证 TP 和 AP 的数据一致性- 如何保证 TP 和 AP 的资源隔离和公平性- 介绍多种性能优化手段

5.离线实时一体化- 介绍 lambda，kappa 等架构的演进- 介绍现有方案在时效性、性能、资源开销三方面的取舍- 介绍现有方案的核心痛点- 提出新的实时处理和增量技术给这个场景带来的全新选择

6.AI 和数据的协同- 介绍 RAG 的基本原理- 传统搜索技术和向量检索的混合

7.Data Warebase 的实践和展望- Data Warebase 如何有效的融合这些核心技术- 通过 Data Warebase 简化数据架构的实践

您认为，这样的技术在实践过程中有哪些痛点？

一体化的方案，往往需要在用户开箱体验和单一场景极致优化中做出选择。为了系统尽可能的简单易用，我们选择了尽量减少配置，保障开箱体验的路线，但这样会牺牲一些极端单一场景的支持。

演讲亮点

- 在 TP/AP 一体化的场景下，大部分系统的方案还是通过数据同步（比如一份行存，一份列存）来实现。我们选择了在一份混合存储上来支持这个负载。- 在离线实时一体化场景下，当下主流的选择是一个流计算系统加一个批处理系统的 lambda 架构，或者以流计算系统为基础的 kappa 架构。我们提出了实时加增量计算融合的全新思路。

听众收益

- 了解当下数据平台的核心痛点和全新需求- 了解 TP/AP 一体化的挑战和实践方案- 了解离线实时体化的场景，挑战和实践方案

除此之外，本次大会还策划了多模态大模型及应用、AI 驱动的工程生产力、面向 AI 的研发基础设施、不被 AI 取代的工程师、大模型赋能 AIOps、云成本优化、Lakehouse 架构演进、越挫越勇的大前端等专题，届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。

目前，所有大会演讲嘉宾已结集完毕，了解更多报名和详情信息可扫码或联系票务经理 18514549229 咨询。

为确保大会顺利举行，现诚邀志愿者加入，时长 3.5 天。可与大咖交流、获极客时间 VIP 月卡、大会演讲视频资源和证书。主办方提供午餐和交通支持。时间：4 月 9 日 13:00-4 月 12 日 18:00，地点：北京万达嘉华酒店，报名链接：https://www.infoq.cn/form/?id=2088