写点什么

OceanBase4.3 发布,实时分析数据库领域的最强六边形战士?

  • 2024-04-23
    北京
  • 本文字数:3666 字

    阅读完需:约 12 分钟

大小:1.84M时长:10:44
OceanBase4.3 发布,实时分析数据库领域的最强六边形战士?

OceanBase 又有了新动态。


4 月 20 日,在第二届 OceanBase 开发者大会上,OceanBase 宣布了其 4.3 版本的正式发布。在这一新版本中最引人瞩目的进展是推出了列式存储引擎,旨在打造 PB 级别的实时分析数据库,从而进一步强化其 TP/AP 一体化的能力。


随着这一技术的突破,OceanBase 的应用场景得以进一步拓展,从传统的 TP、HTAP 领域,拓展到了更广泛的 TP、HTAP、AP 领域。在发布会现场,OceanBase CTO 杨传辉表示,将重点打造“PB 级实时分析数据库的最强六边形战士”。



如果说 OceanBase 的几个版本满足了用户对于一体化数据库的想象,那么这一次的 4.3 版本更让我们看到了 OceanBase 的更深层价值。在一体化战略的加持下,它正在成长为全行业能力最全面的数据库产品之一。

那么,为何 OceanBase 会选择将 AP 能力作为发展重点,OceanBase 4.3 又实现了怎样的能力升级?走进 OceanBase 开发者大会,或许能找到你想要的答案。

 

AP 数据库的核心痛点,TP/AP 一体化或提供解法?


对于 OceanBase 来说,TP/AP 一体化是自然而然的选择。杨传辉认为,之所以要补足 OceanBase 的 AP 能力,是 OceanBase 产品自然发展的必然路径之一。无论是单机分布式,还是 TP/AP,都是一体化产品战略发展之下的产物。


在 OceanBase 4.2.1 等版本的升级之下,产品的核心业务场景的 TP 能力已经打磨得非常成熟,那么一体化的核心能力自然而然地转向了 AP。秉持着“用一套系统解决 80%问题”的目标,OceanBase 必然要深化并补全产品的 AP 能力。


更重要的是,越来越多的开发者及企业对于 AP 的需求也在逐渐上升。


归根结底,在当下时代,数据蕴含的价值正在日渐提升。对于企业来说,想要提升核心业务,加强场景服务,对于数据的挖掘变得越来越重要,AP 技术的地位也日益凸显。作为数据处理的核心,企业对于数据库实时分析能力的要求日渐增加,AP 数据库开始收获全行业的关注。


但在这个数据井喷的时代,传统的 AP 数据库已经难以满足很多企业的需求。它们往往大查询能力很强,AP 生态的适配性很强,但是无法做到实时的写入。在兼容性、功能性等方面,又跟 OLTP 系统有着巨大的差距。与此同时,目前已有的大部分 AP 系统往往缺乏业务场景的打磨,对于许多企业来说,其可靠性和稳定性仍要打一个问号。


而伴随着 AI 与大模型技术的成熟,AP 技术无疑将会在未来发挥更加重要的作用。无论是金融、电商还是更多行业,都需要通过 AP 技术来挖掘数据的价值,为企业的发展提供有力的支持。



但这些行业往往也有着较大的 TP 需求,于是企业们不得不选择使用 TP+AP 两套数据库系统,或是多种数据库搭配使用。尽管这暂时性地解决了需求问题,但数据系统冗杂、分析链路复杂、自研成本高等问题仍旧困扰着每家企业,亟待解决。


需求与现实之间的巨大落差促使数据库产品们走向进化。HTAP 也成为了近年来炙手可热的概念之一,但对于 OceanBase 团队来说,HTAP 远远称不上完美,他们要真正实现 TP/AP 的一体化。


用户的实践与期望是最大的动力。在 OceanBase 4.2 发布后,基于其 OLTP Plus 能力,许多客户选择通过 OceanBase 替代以往复杂的数据库系统。据杨传辉在大会现场介绍,包括海底捞、携程、贝壳在内的许多企业都在选择用 OceanBase 替代以往的多数据库方案,实现了一定程度上的链路优化。OceanBase 的 AP/TP 一体化战略已经初见成效。


但这并不是 OceanBase 所认为的终点。


“尽管 OceanBase 有着更灵活的部署方式,但我们仍认为 HTAP 并不是万能的。”杨传辉将视野放到了更大的数据需求上,“在几百 GB 到几百 TB 这样的场景里,HTAP 还可以适用,但面对更大的数据量,其往往无能为力。这也是大公司们往往将 AP 与 TP 分开,通过两套系统进行处理的原因。”


针对更大数据量级场景,并加强其实时性、可靠性,在一体化、易用理念的加持下,OceanBase 4.3 最终诞生。这款产品想要通过真正意义上的 TP/AP 一体化,解决客户及开发者们面临的数据领域“最后一公里”难题。



OceanBase 4.3:三大核心技术升级,做最强六边形战士


相比于 HTAP,OceanBase 的 TP/AP 一体化到底有何不同?

 

“我今天想抛出一个新的概念,‘TP/AP 一体化’不一定是把 TP 跟 AP 放到一个系统,也可以是把 OceanBase 分布式数据库的 TP 能力直接融合到 AP 系统里面,做出更好更实时更易用的新型实时数据库。”


在大会现场,杨传辉进一步解析了 OceanBase 的 TP/AP 一体化思路:将已有的 TP 及 HTAP 能力融入进 AP 数据库系统中,打造一套全新的一体化数据库。换句话说,OceanBase 4.3 不再是 OLTP 的延伸,而是在 OLAP 的基础上融入已有的 TP 能力,某种程度上来说,AP 成为了 OceanBase 4.3 最核心的功能之一。


在 OceanBase 看来,一体化概念并非仅限于狭窄的 HTAP 定义,而是更广泛地指用一套系统充分复用底层系统能力,从而支持各种各样的工作负载。OceanBase 4.3 的实时 AP 能力负载已经达到了 PB 量级。在 TB 到 PB 这个最广泛的数据量级范围内,OceanBase 4.3 能够胜任大部分企业对 TP 与 AP 的需求。



据杨传辉介绍,OceanBase 4.3 主要有三大核心技术升级:


首先,基于 LSM-Tree 架构推出列式存储引擎,实现行存、行列混存和列存等多种存储方式,同时融入分布式 TP 核心能力小事务写入技术,有效消除数据导入延迟,满足更严苛的 AP 实时分析需求。此外,OceanBase 还利用列式存储的特点,实现了高效的数据压缩和编码,进一步提高了存储效率。


其次,全新推出基于列数据格式描述的 2.0 向量化引擎和物化视图,进一步提升了深度 AP 场景下的性能表现,可实现秒级实时分析,极大提升了 OLAP 实时分析的能力。相较于实时分析数仓,OceanBase 在实时分析这一场景上具备实时写入、读写强一致、大规模并行处理、管理运维难度低等优点。


最后,OceanBase 4.3 的 TP 性能、易用性进一步增强。在 KV 的场景中,OceanBase 4.3 版本的性能相比 4.2.1 有了大幅度的提升,单行读写能力提升了 70%,批量读写能力提升了 80%。在估行系统、统计信息、代价模型、Online DDL、会话管理、日志流、租户克隆等方面都得以优化,提升了数据库在关键业务负载中的性能和稳定性。


从 TP 能力的持续打磨,再到 AP 分析能力提升、AP 实时性能提升,OceanBase 4.3 实现了全方位升级。通过全新列式存储引擎,打造 PB 级实时分析数据库,可实现秒级实时分析。针对实时数仓在使用、管理更为复杂的短板,在 TP、HTAP 的能力加持下,OceanBase 4.3 为行业提供了一个全新的解法。


针对 AP 性能,发布会现场,OceanBase 也延续了“传统”,开启了一场现场跑分 PK。在同等硬件条件下,OceanBase 4.3 与业内一流的列存大宽表数据库 ClickHouse 进行了跑分 PK。结果显示,在大宽表场景,两者的查询性能处于同一水平,这也直接证明了 OceanBase 4.3 的 AP 能力。在 TB 到 PB 的量级范围内,OceanBase 已经拥有了不错的实时分析能力。



通过对旁路导入、外部表的支持,以及行式存储与列式存储之间的动态转化的实现,OceanBase 4.3 进一步满足了 OLAP 的多元需求场景,如物化视图、联邦查询计算的下压等。


通过分布式计算引擎的能力的提升,OceanBase 4.3 也构建了更好的 MPP 架构,并且支持向量化引擎以及 DOP。4.3 版本增强了对 JSON 等半结构化数据的支持,OceanBase 4.3 版本也与最主流的流式数据库做了很好的兼容适配。


而在可靠性与稳定性方面,OceanBase 4.3 在开发、测试流程上也做到了双线并行,稳步迭代。另一方面,背靠蚂蚁集团的庞大生态,在核心业务场景的应用角度,OceanBase 有着得天独厚的优势。在大流量场景的实践应用之下,OceanBase 4.3 能够抵御大多数类型的风险与问题。


总结来看,在 TP 性能、分布式、兼容性、AP 存储、AP 计算、AP 工具生态能力六大方面,对于 PB 以下企业在 AP 应用场景中,OceanBase 正在成长为一个“六边形战士”。一个可以预见的事实是,在未来,对于有 HTAP 及 OLAP 需求的 PB 以下企业来说,OceanBase 将非常具有吸引力。


 

从开源开放出发,OceanBase 走向未来


从 TP 到 HTAP,再到 AP,OceanBase 已经能够实现对数据库大多数需求的响应,这也是其在“关键业务负载”一体化战略上迈出的重要一步。


在大会现场,杨传辉也再度强调了 OceanBase 开源生态的重要性。


自 2021 年 6 月 1 日正式开源以来,OceanBase 的开源生态蓬勃发展。现如今,其社区版部署的集群数已超过 1 万,涵盖了携程、快手、知乎等众多主流互联网公司。这些公司利用 OceanBase 开源社区版,在各种业务场景下实现了高效的数据处理与存储,进一步证明了 OceanBase 的技术实力与市场价值。


在开源生态的建设上,OceanBase 不仅注重产品的技术创新与迭代,更重视与开发者之间的沟通与协作。通过举办开发者大会、发布技术文档、提供技术支持等方式,OceanBase 积极倾听开发者的声音,不断优化产品体验,满足开发者的实际需求。



展望未来,OceanBase 将继续深化开源生态的建设,推动数据库技术的创新与发展。一方面,OceanBase 将进一步完善单机分布式一体化架构,提升产品的稳定性、性能及性价比,满足更多企业的需求;另一方面,OceanBase 将积极探索与 AI 技术的融合,构建对 KV、多模乃至未来 AI 融合的能力,支持各种各样的工作负载,为企业提供更全面、更智能的数据服务。


正是在这种开放创新的发展理念下,OceanBase 在实践中快速成长。可以预见的是,未来,随着技术的不断发展和市场的不断变化,OceanBase 将继续致力于提供更加先进、更加完善的数据库解决方案,帮助企业更好地应对数字化时代的挑战。

 

2024-04-23 12:2210492

评论

发布
暂无评论
发现更多内容

六面蚂蚁金服,唬住了面试官要了30K;其实Java面试也没那么难

程序知音

Java 程序员 后端技术 秋招 Java面试八股文

数据中台建设(五):打破企业数据孤岛和提取数据价值

Lansonli

数据中台 7月月更

CMake库搜索函数居然不搜索LD_LIBRARY_PATH

华为云开发者联盟

后端 开发

只分享这一次!阿里软件架构师深入底层手写JDK源码

程序猿阿宇

架构 Java 面试 大厂技能 后端技术 秋招

HarmonyOS分布式协同演奏技术实现路线(Java)

程序员啊叶

Java 编程 程序员 架构 java面试

Moonbeam创始人解读多链新概念Connected Contract

One Block Community

区块链

想用K8s,还得先会Docker吗?其实完全没必要

程序员啊叶

Java 编程 程序员 架构 java面试

备战金九银十,两份JAVA面试题2022最新整合版,祝你脱颖而出

王小凡

Java MySQL spring 面试 springboot

大厂面试突击必备:“网络编程”高频八连击,扛得住吗?

程序员啊叶

Java 编程 程序员 架构 java面试

阿里内网最新发布“M8”级Java面试笔记,助力金九银十

程序员啊叶

Java 编程 程序员 架构 java面试

蓦然回首,“工厂、构造、原型”设计模式,正在灯火阑珊处

掘金安东尼

JavaScript 前端 7月月更

如何写一份高可读性的软件工程设计文档

C++后台开发

数据库 软件工程 后端开发 C/C++后台开发 C/C++开发

上天入地Hadoop——使用高性能分布式技术完成大数据处理任务

程序猿阿宇

大数据 架构 Java 面试 java程序员 编程、

浅谈非 EVM 公链的可能性: 兼容多类型虚拟机是否是区块链未来?

One Block Community

区块链

腾讯被裁,转头去字节!Java后端核心面试题在手,怎能进不去大厂

程序员啊叶

Java 编程 程序员 架构 java面试

干货来袭!2022阿里巴巴全新出品Spring全家桶全栈笔记(终极版)奉上

程序员小毕

Java spring 程序员 面试 微服务

[ Kitex 源码解读 ] 熔断机制是如何实现的

baiyutang

Go 微服务 微服务架构 kitex CloudWeGo

4位资深专家多年大厂经验分享出Flink技术内幕架构设计与实现原理

程序员啊叶

Java 编程 程序员 架构 java面试

太牛了,百度这份开发手册几乎涵盖了Spring Cloud所有操作

程序猿阿宇

架构 java程序员 java面试 秋招 程序员‘

京东发布这份SpringBoot实战手册带你从0手动搭建企业级商城项目

程序猿阿宇

程序员 面试 java程序员 Spring Boot CLI 秋招

我给大家免费公开五份阿里Java架构师学习手册!助力金九银十

程序猿阿宇

架构 Java 面试 大厂面试 大厂技能 秋招

手慢无!阿里亿级流量高并发系统设计核心原理全彩笔记现实开源

Java全栈架构师

Java 面试 程序人生 分布式锁 架构师

时序数据库在船舶风险管理领域的应用

CnosDB

IoT 时序数据库 开源社区 CnosDB infra

真香!180页100+题15W+字解析的《Java高级面试指南》,果断收下

程序员啊叶

Java 编程 程序员 架构 java面试

一文读懂Elephant Swap,为何为ePLATO带来如此高的溢价?

鳄鱼视界

五面阿里,终拿offer,不明白为什么面试官总喜欢问Java这种问题

程序知音

Java 阿里 后端技术 八股文 Java面试八股文

Kubernetes应用管理深度剖析

Bob

云原生 容器化 后端技术 Kubernetes 集群

SMI 与 Gateway API 的 GAMMA 倡议意味着什么?

张晓辉

Kubernetes 服务网格 SMI

难道Redis真的变慢了吗?

程序员啊叶

Java 编程 程序员 架构 java面试

SocialFi 何以成就 Web3 去中心化社交未来

One Block Community

区块链

OceanBase4.3 发布,实时分析数据库领域的最强六边形战士?_数据湖仓_王世昕_InfoQ精选文章