写点什么

OceanBase4.3 发布,实时分析数据库领域的最强六边形战士?

  • 2024-04-23
    北京
  • 本文字数:3666 字

    阅读完需:约 12 分钟

大小:1.84M时长:10:44
OceanBase4.3 发布,实时分析数据库领域的最强六边形战士?

OceanBase 又有了新动态。


4 月 20 日,在第二届 OceanBase 开发者大会上,OceanBase 宣布了其 4.3 版本的正式发布。在这一新版本中最引人瞩目的进展是推出了列式存储引擎,旨在打造 PB 级别的实时分析数据库,从而进一步强化其 TP/AP 一体化的能力。


随着这一技术的突破,OceanBase 的应用场景得以进一步拓展,从传统的 TP、HTAP 领域,拓展到了更广泛的 TP、HTAP、AP 领域。在发布会现场,OceanBase CTO 杨传辉表示,将重点打造“PB 级实时分析数据库的最强六边形战士”。



如果说 OceanBase 的几个版本满足了用户对于一体化数据库的想象,那么这一次的 4.3 版本更让我们看到了 OceanBase 的更深层价值。在一体化战略的加持下,它正在成长为全行业能力最全面的数据库产品之一。

那么,为何 OceanBase 会选择将 AP 能力作为发展重点,OceanBase 4.3 又实现了怎样的能力升级?走进 OceanBase 开发者大会,或许能找到你想要的答案。

 

AP 数据库的核心痛点,TP/AP 一体化或提供解法?


对于 OceanBase 来说,TP/AP 一体化是自然而然的选择。杨传辉认为,之所以要补足 OceanBase 的 AP 能力,是 OceanBase 产品自然发展的必然路径之一。无论是单机分布式,还是 TP/AP,都是一体化产品战略发展之下的产物。


在 OceanBase 4.2.1 等版本的升级之下,产品的核心业务场景的 TP 能力已经打磨得非常成熟,那么一体化的核心能力自然而然地转向了 AP。秉持着“用一套系统解决 80%问题”的目标,OceanBase 必然要深化并补全产品的 AP 能力。


更重要的是,越来越多的开发者及企业对于 AP 的需求也在逐渐上升。


归根结底,在当下时代,数据蕴含的价值正在日渐提升。对于企业来说,想要提升核心业务,加强场景服务,对于数据的挖掘变得越来越重要,AP 技术的地位也日益凸显。作为数据处理的核心,企业对于数据库实时分析能力的要求日渐增加,AP 数据库开始收获全行业的关注。


但在这个数据井喷的时代,传统的 AP 数据库已经难以满足很多企业的需求。它们往往大查询能力很强,AP 生态的适配性很强,但是无法做到实时的写入。在兼容性、功能性等方面,又跟 OLTP 系统有着巨大的差距。与此同时,目前已有的大部分 AP 系统往往缺乏业务场景的打磨,对于许多企业来说,其可靠性和稳定性仍要打一个问号。


而伴随着 AI 与大模型技术的成熟,AP 技术无疑将会在未来发挥更加重要的作用。无论是金融、电商还是更多行业,都需要通过 AP 技术来挖掘数据的价值,为企业的发展提供有力的支持。



但这些行业往往也有着较大的 TP 需求,于是企业们不得不选择使用 TP+AP 两套数据库系统,或是多种数据库搭配使用。尽管这暂时性地解决了需求问题,但数据系统冗杂、分析链路复杂、自研成本高等问题仍旧困扰着每家企业,亟待解决。


需求与现实之间的巨大落差促使数据库产品们走向进化。HTAP 也成为了近年来炙手可热的概念之一,但对于 OceanBase 团队来说,HTAP 远远称不上完美,他们要真正实现 TP/AP 的一体化。


用户的实践与期望是最大的动力。在 OceanBase 4.2 发布后,基于其 OLTP Plus 能力,许多客户选择通过 OceanBase 替代以往复杂的数据库系统。据杨传辉在大会现场介绍,包括海底捞、携程、贝壳在内的许多企业都在选择用 OceanBase 替代以往的多数据库方案,实现了一定程度上的链路优化。OceanBase 的 AP/TP 一体化战略已经初见成效。


但这并不是 OceanBase 所认为的终点。


“尽管 OceanBase 有着更灵活的部署方式,但我们仍认为 HTAP 并不是万能的。”杨传辉将视野放到了更大的数据需求上,“在几百 GB 到几百 TB 这样的场景里,HTAP 还可以适用,但面对更大的数据量,其往往无能为力。这也是大公司们往往将 AP 与 TP 分开,通过两套系统进行处理的原因。”


针对更大数据量级场景,并加强其实时性、可靠性,在一体化、易用理念的加持下,OceanBase 4.3 最终诞生。这款产品想要通过真正意义上的 TP/AP 一体化,解决客户及开发者们面临的数据领域“最后一公里”难题。



OceanBase 4.3:三大核心技术升级,做最强六边形战士


相比于 HTAP,OceanBase 的 TP/AP 一体化到底有何不同?

 

“我今天想抛出一个新的概念,‘TP/AP 一体化’不一定是把 TP 跟 AP 放到一个系统,也可以是把 OceanBase 分布式数据库的 TP 能力直接融合到 AP 系统里面,做出更好更实时更易用的新型实时数据库。”


在大会现场,杨传辉进一步解析了 OceanBase 的 TP/AP 一体化思路:将已有的 TP 及 HTAP 能力融入进 AP 数据库系统中,打造一套全新的一体化数据库。换句话说,OceanBase 4.3 不再是 OLTP 的延伸,而是在 OLAP 的基础上融入已有的 TP 能力,某种程度上来说,AP 成为了 OceanBase 4.3 最核心的功能之一。


在 OceanBase 看来,一体化概念并非仅限于狭窄的 HTAP 定义,而是更广泛地指用一套系统充分复用底层系统能力,从而支持各种各样的工作负载。OceanBase 4.3 的实时 AP 能力负载已经达到了 PB 量级。在 TB 到 PB 这个最广泛的数据量级范围内,OceanBase 4.3 能够胜任大部分企业对 TP 与 AP 的需求。



据杨传辉介绍,OceanBase 4.3 主要有三大核心技术升级:


首先,基于 LSM-Tree 架构推出列式存储引擎,实现行存、行列混存和列存等多种存储方式,同时融入分布式 TP 核心能力小事务写入技术,有效消除数据导入延迟,满足更严苛的 AP 实时分析需求。此外,OceanBase 还利用列式存储的特点,实现了高效的数据压缩和编码,进一步提高了存储效率。


其次,全新推出基于列数据格式描述的 2.0 向量化引擎和物化视图,进一步提升了深度 AP 场景下的性能表现,可实现秒级实时分析,极大提升了 OLAP 实时分析的能力。相较于实时分析数仓,OceanBase 在实时分析这一场景上具备实时写入、读写强一致、大规模并行处理、管理运维难度低等优点。


最后,OceanBase 4.3 的 TP 性能、易用性进一步增强。在 KV 的场景中,OceanBase 4.3 版本的性能相比 4.2.1 有了大幅度的提升,单行读写能力提升了 70%,批量读写能力提升了 80%。在估行系统、统计信息、代价模型、Online DDL、会话管理、日志流、租户克隆等方面都得以优化,提升了数据库在关键业务负载中的性能和稳定性。


从 TP 能力的持续打磨,再到 AP 分析能力提升、AP 实时性能提升,OceanBase 4.3 实现了全方位升级。通过全新列式存储引擎,打造 PB 级实时分析数据库,可实现秒级实时分析。针对实时数仓在使用、管理更为复杂的短板,在 TP、HTAP 的能力加持下,OceanBase 4.3 为行业提供了一个全新的解法。


针对 AP 性能,发布会现场,OceanBase 也延续了“传统”,开启了一场现场跑分 PK。在同等硬件条件下,OceanBase 4.3 与业内一流的列存大宽表数据库 ClickHouse 进行了跑分 PK。结果显示,在大宽表场景,两者的查询性能处于同一水平,这也直接证明了 OceanBase 4.3 的 AP 能力。在 TB 到 PB 的量级范围内,OceanBase 已经拥有了不错的实时分析能力。



通过对旁路导入、外部表的支持,以及行式存储与列式存储之间的动态转化的实现,OceanBase 4.3 进一步满足了 OLAP 的多元需求场景,如物化视图、联邦查询计算的下压等。


通过分布式计算引擎的能力的提升,OceanBase 4.3 也构建了更好的 MPP 架构,并且支持向量化引擎以及 DOP。4.3 版本增强了对 JSON 等半结构化数据的支持,OceanBase 4.3 版本也与最主流的流式数据库做了很好的兼容适配。


而在可靠性与稳定性方面,OceanBase 4.3 在开发、测试流程上也做到了双线并行,稳步迭代。另一方面,背靠蚂蚁集团的庞大生态,在核心业务场景的应用角度,OceanBase 有着得天独厚的优势。在大流量场景的实践应用之下,OceanBase 4.3 能够抵御大多数类型的风险与问题。


总结来看,在 TP 性能、分布式、兼容性、AP 存储、AP 计算、AP 工具生态能力六大方面,对于 PB 以下企业在 AP 应用场景中,OceanBase 正在成长为一个“六边形战士”。一个可以预见的事实是,在未来,对于有 HTAP 及 OLAP 需求的 PB 以下企业来说,OceanBase 将非常具有吸引力。


 

从开源开放出发,OceanBase 走向未来


从 TP 到 HTAP,再到 AP,OceanBase 已经能够实现对数据库大多数需求的响应,这也是其在“关键业务负载”一体化战略上迈出的重要一步。


在大会现场,杨传辉也再度强调了 OceanBase 开源生态的重要性。


自 2021 年 6 月 1 日正式开源以来,OceanBase 的开源生态蓬勃发展。现如今,其社区版部署的集群数已超过 1 万,涵盖了携程、快手、知乎等众多主流互联网公司。这些公司利用 OceanBase 开源社区版,在各种业务场景下实现了高效的数据处理与存储,进一步证明了 OceanBase 的技术实力与市场价值。


在开源生态的建设上,OceanBase 不仅注重产品的技术创新与迭代,更重视与开发者之间的沟通与协作。通过举办开发者大会、发布技术文档、提供技术支持等方式,OceanBase 积极倾听开发者的声音,不断优化产品体验,满足开发者的实际需求。



展望未来,OceanBase 将继续深化开源生态的建设,推动数据库技术的创新与发展。一方面,OceanBase 将进一步完善单机分布式一体化架构,提升产品的稳定性、性能及性价比,满足更多企业的需求;另一方面,OceanBase 将积极探索与 AI 技术的融合,构建对 KV、多模乃至未来 AI 融合的能力,支持各种各样的工作负载,为企业提供更全面、更智能的数据服务。


正是在这种开放创新的发展理念下,OceanBase 在实践中快速成长。可以预见的是,未来,随着技术的不断发展和市场的不断变化,OceanBase 将继续致力于提供更加先进、更加完善的数据库解决方案,帮助企业更好地应对数字化时代的挑战。

 

2024-04-23 12:2210426

评论

发布
暂无评论
发现更多内容

哪有简单的满足——自我决定论

Justin

心理学 28天写作 游戏设计

滚雪球学 Python 之内置 random 模块

梦想橡皮擦

28天写作 3月日更

看了 GitHub 上的这些面试题项目后,我飘了!

JackTian

GitHub 开源 面试

容器or虚拟机?

xcbeyond

Docker 容器 3月日更 专业术语

假期无聊冰河开发了一款国民级游戏!

冰河

Java 游戏

产品训练营 第四周作业

万顷湖天碧

存量用户运营企业微信的“用户端小程序”优化方案

vivo互联网技术

小程序 微信 性能优化 大前端 企业微信

LeetCode题解:91. 解码方法,动态规划(优化),JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

前端开发:Mac环境的Chrome浏览器设置跨域请求的SameSite解决方法

三掌柜

vue.js 大前端 3月日更

JVM笔记--如果你写JVM,最需要考虑的重要结构是什么?

秦怀杂货店

Java JVM

诊所数字化:医疗机构常见的系统整理

boshi

医院 医疗 七日更

Hamcrest

insight

单元测试 3月日更

Nginx配置静态文件服务从入门到精通

happlyfox

28天写作 3月日更

网易 Duilib:功能全面的开源桌面 UI 开发框架

有道技术团队

开源

项目延期了,怎么办?

石云升

项目管理 28天写作 职场经验 管理经验 3月日更

5 分钟部署一个 OIDC 服务并对接 nightingale

冯骐

CAS Nightingale 认证授权 OIDC Apereo

Wireshark 数据包分析学习笔记 Day13

穿过生命散发芬芳

Wireshark 数据包分析 3月日更

php的一些漏洞梳理

依旧廖凯

28天写作 3月日更

Apache Oozie 深入原理讲解

五分钟学大数据

大数据 28天写作 3月日更 oozie

美丽的数学学习笔记(1)

方勇(gopher)

算命、运气和其他「Day 24」

道伟

28天写作

大作业

LouisN

yum安装Nginx全流程指南

happlyfox

28天写作 3月日更

算法攻关-climbing-stairs(O(n))_70

小诚信驿站

刘晓成 小诚信驿站 28天写作 算法攻关

协助市场监督管理局,打造质量基础设施“一站式”服务平台

源中瑞-龙先生

为什么MySQL不推荐使用子查询和join

Java小咖秀

MySQL MySQL优化

像这样操作 Python 列表,能让你的代码更优雅 | pythonic 小技巧

AlwaysBeta

Python

产品经理训练营 - 大作业

joelhy

产品经理训练营

一卷河图赋太虚:HMS Core CG kit与移动游戏新可能

脑极体

短网址服务设计整理

程序员架构进阶

架构 设计实践 28天写作 实操案例 3月日更

掌握了开源框架还不够,你更需要掌握源代码

华为云开发者联盟

开源 Element 源代码 Vue 3

OceanBase4.3 发布,实时分析数据库领域的最强六边形战士?_数据湖仓_王世昕_InfoQ精选文章