4万字《腾讯云技术实践精选集 2021》发布,点击下载 了解详情
写点什么

腾讯云潘安群:把企业级分布式数据库做到极致

  • 2021 年 11 月 24 日
  • 本文字数:3782 字

    阅读完需:约 12 分钟

腾讯云潘安群:把企业级分布式数据库做到极致

数据库是旧市场,也是新市场,是一个既成熟又有新机遇的战场。

 

举些例子:

  • 第七次全国人口普查:750 万终端、十亿级数据,实时入库、实时统计、实时分析,这是对系统极致弹性、大并发计算以及连续稳定的挑战。

  • 健康码:覆盖全国 10 亿人口以上,上线 3 个月即累计亮码 200 亿次,考验的是系统对极速流量突增场景的应对。

  • 平安银行,是行业首例银行核心系统数据库从传统集中式大型机下移至国产分布式架构的案例,打破数十年国外商业数据库的垄断。

 

这些场景,对传统集中式数据库提出了极大地挑战。


当传统技术架构逐渐难以满足产业互联网时代的需求,转型升级是必然的趋势选择。当前,云计算技术作为当前企业 IT 架构的不二之选,已走过探索实践阶段,迎来了多样化、规模化的发展时期。同时,随着国家对数据库等基础技术设施的自主可控要求越来越明确,国产化替换成为国家战略。在技术升级和国产替代双重驱动下,国产数据库获得了前所未有的历史新机遇。


面对历史新机遇,基础技术创新要如何为产业带来新的能力驱动,在近日2021腾讯数字生态大会上,腾讯云数据库技术负责人潘安群,围绕“将企业级分布式数据库做到极致”的主题,分享了腾讯云数据库 TDSQL 的一些工作和思考。

云时代数据库技术趋势

 

首先随着云计算的发展,整个 IT 基础技术发生了翻天覆地的变化:


l IT 设施从零散走向集中化、规模化。过去,每一个企业自建各自的数据中心等 IT 基础设施,包括服务器、网络到操作系统、数据库等,形成企业市场上零散化的 IT 设施模式。而今天基于云计算服务,企业 IT 设施呈现集中化、规模化效应,对效率、性能、成本的要求提升。


  • 交付方式从软件交付走向服务交付。过去购买商业化软件,或者是使用开源软件产品,基本是通过商业化或开源的方式进行分发,而现在完全变成一个个服务的形式进行交付。这带来的变化是,用户不需要再盘算该购买几台服务器,而是在具有数据库使用需求时,直接云上使用即可,企业 IT 人员不再需要自己去维护这些数据库软件。

  • 开发方式从底层(IaaS+PaaS)走向上层(SaaS)。即呈现从过去业务进行非常底层的开发以及调用底层 API 等操作的模式,转向 SaaS 化、Severless 模式的服务。在云上,开发者可以使用各种各样的 SaaS 服务。无论从效率、基础技术能力等方面来说,这都是一个巨大的变化。

  • 数据形式及应用场景从单一化走向多样化。过去传统行业,比如金融行业,最核心是记账、结算,业务形式比较简单,但现在金融行业所面临的是要做互联网化、数字化的全面升级,包括各行各业都在做数字化升级,数据形式已经不再是过去传统数据库那样简单的模式,而是数据形态、访问模式等会越来越多样化。


基于这样的变化,我们认为未来的数据库应该是:单引擎极致化,加多引擎自治融合的 DBaaS 服务。那么具体表现为:


  • 单一引擎极致化。垂直场景在云上的规模化,使得我们必须将单引擎做到极致,才能进一步放大规模效应。

  • 多引擎统一智能融合。而业务形态的多样化,单一数据库包打天下的时代已经过去,多引擎化成为必然趋势。当然我们不希望让用户陷入选择,我们希望对客户来说,多即是一。如何做到多即是一,如何做到在超大规模数据库集群的一体化,智能化是决定这场变革成败的关键因素。

  • DBaaS 交付。基于多引擎智能融合,做到服务即交付,即交付给客户的是一套完整数据库服务,而不是一堆软件。这是我们在企业级市场的理念。

TDSQL 产品核心能力演进和突破

 

在以上理念下,今年 TDSQL 产品多个引擎持续实现了相应的突破。

产品演进的驱动力:企业级市场核心场景挑战

 

“国产化+数据爆发+复杂度提升”是数据库行业底层驱动力。随着金融政企技术系统对国产化、数字化改造升级的需求加速,国产企业级分布式数据库单引擎极致能力主要受到金融级核心系统应用能力、快速平稳“去 O”、新形互联网业务转型等需求和挑战驱动,实现技术突破。


首先,总结而言,数字化时代金融、政务、互联网、电商等企业对分布式数据库的应用需求体现在以下 4 个方面:


(1)支持稳态业务的核心应用能力需求持续增强:表现为需要数据库系统在高可用、强一致、稳定可靠的基础上,同时实现高性能、高可扩展,满足业务稳定、快速发展过程中对基础技术要求。与此同时,核心应用关系企业系统最核心的交易,改造起来时间长、投入大,对国产数据库的技术以及服务能力要求进一步提高。


(2)平稳快速“去 O”:除了核心应用,金融政企系统中还有大量周边系统或者次核心应用,这些核心应用往往有几百上千套系统,由于历史原因需要短期之内快速“去 O”,并基于国产分布式数据库快速上线,如第一个月上线 10 个系统、第二个月上线 20 个系统……快速完成“去 O”的场景需求,要求国产数据库产品对 Oracle 兼容具备极高的兼容能力,并能做到高可用、强一致。


(3)自动弹性扩缩容、应对敏态业务需求加大:业务在进行数字化转型过程中,场景化、线上化是大势所趋,这意味着技术系统中的数据吞吐量、业务形态、数据访问和计算管控等也将随之发生巨大变化,变得更加敏捷、多样化,即面临更多的不可预知性,对底层技术系统在灵活性与扩展性方面提出全新的要求。


(4)海量数据复杂分析场景需求加大:在数字化业务的融合升级中,数据处理的规模大幅增长,对处理的实时性和效率有更高要求,因此亟需实现对海量数据的复杂分析、实时计算处理能力。

TDSQL 产品核心能力演进和突破

 


针对上述场景需求和挑战,TDSQL 从不同应用场景匹配不同引擎,为客户提供融合统一的产品服务,以及从前端管理到底层统一的智能管控体系。

 

(1)金融级核心交易 OLTP 引擎

 


金融级分布式 OLTP 引擎是 TDSQL 主打特性体现在强一致、高可用、分布式事务、兼容性等方面,可实现“两地三中心、多地多中心”高可用灵活部署架构的产品引擎,它在跨数据中心强同步复制机制下可实现“RTO<30S、RPO=0”,同时在高性能基础上保持全局一致性。本次引擎全新升级,将为用户带来全局索引、视图、执行计划绑定、计算下推等能力升级,实现系统性能提升 50%。


金融级 OLTP 引擎是当前大部分 TDSQL 银行核心系统用户所采用的引擎,具备产品成熟度高、分布式事务能力级别达到行业最高等特性。在互联网银行、区域性银行以及股份制银行、国有大行等领域都有成功案例。

 

(2)TDSQL 金融级 HTAP 引擎(Oracle 兼容)

 


本次大会,我们也面向行业全新发布 TDSQL 金融级 HTAP 引擎(Oracle 兼容版)。这款引擎在保险、运营商等行业兼容度高达 98%以上,同时在数据的一致性、高可用方面也完全满足金融行业的要求,可以帮助金融机构在极短时间内,几乎零成本改造的情况下,实现国产化。

 

(3)TDSQL 全自研新敏态引擎



这也是本次 TDSQL 带来的全新重磅发布。TDSQL 新敏态引擎 100%兼容 MySQL,计算/存储资源均可独立全透明弹性扩缩容,实现了 PB 级存储的 Online DDL;计算层每个节点均可读写,轻松支撑千万级 QPS 流量,可以有效应对业务的变化。针对海量数据存储的场景,实现最高最高 20 倍压缩率的超高压缩比存储能力,大幅节省资源成本。


更关键的是,其独有的数据形态自动感知特性,可以实现数据库全域智能化自适应调度,能够根据业务负载情况自动迁移,打散热点,降低分布式事务比例,获得极致的扩展性和性能。


与此同时,TDSQL 新敏态引擎具有对分布式事务完整支持的特性,支撑了上层计算引擎多主读写架构的实现,并与计算引擎结合实现了计算下推、分布式事务一阶段优化等多纬度优化,进一步实现分布式数据库系统性能极致提升,有效适配企业新敏态业务需求。


在腾讯内部业务实践中,TDSQL 新敏态引擎可支撑业务在保持高性能且连续服务的基础上,一个月内完成了高达 1000 次表结构在线变更。

 

(4)TDSQL-A 分析型引擎

 


今年 5 月份我们发布了分析引擎 TDSQL-A,今天将迎来再次的全面升级。我们在架构上实现了计算与转发双平面的基础上,全新自研了列式存储引擎,搭配全新的智能执行引擎,向量化执行性能有 10 倍以上的提升,同时凭借业界独有的分布式延迟物化技术,大幅优化了分布式场景下关联查询的计算效率,可以帮助客户进一步挖掘数据价值。

 

(5)智能统一管控

 


这是腾讯云数据库智能统一管控平台,可让数据在不同引擎之间自由流动,更好地支持业务快速发展。具体包括:


  • 以超过 769 个接口能力,支持系统实现不同应用场景灵活调用、一键运营;

  • 实现 90%常见故障秒级诊断及 SQL 优化建说议的智能运维体系,大幅降低系统运维复杂度;

  • 基于多源同步工具,实现多引擎数据秒级同步,对业务屏蔽引擎差异;

  • 实现插件式负载均衡管理,进一步提升可用性。目前支持 F5、LVS、TGW、VPCGW 等多种……

TDSQL 应用场景突破

   

目前,TDSQL 已服务近半国内 TOP20 银行,TOP10 银行中服务比例也高达 60%。同时,TDSQL 在不同金融机构核心系统中的渗透率明显提升,如金融核心系统客户超过 20 家,率先实现行业突破,包括平安银行、张家港农商行、昆山农商行等银行、保险、券商机构。

 

而在电信运营商等行业场景,腾讯云数据库 TDSQL 也实现了率先突破,如在 2021 年中标某省移动核心系统从传统集中式大型机系列下移至国产数据库项目,是行业首家运营商核心系统数据库分布式国产化改造项目。

 

无论是在银行还是保险、政务等行业,TDSQL 在关键领域的标杆头部客户已具有丰富的成功案例实践。

 

基于大量大规模银行核心系统应用实践,TDSQL 一路走来经历了最严苛的考验。我们认为,国产数据库即将进入规模化的阶段,我们希望未来五年能够为 1000 家金融机构实现核心系统数据库国产化改造升级,也希望广大合作伙伴与我们一同实现这个国产数据库的长期事业。感谢!

2021 年 11 月 24 日 15:241586

评论

发布
暂无评论
发现更多内容

BATJ内部Java求职面试宝典,尤其应届生如果还没有学过那后悔去吧,也许你已经错过N多家大厂offer;

Java架构师迁哥

生态共赢-anyRTC创业扶持计划

anyRTC开发者

ios 音视频 WebRTC RTC 安卓

LeetCode题解:145. 二叉树的后序遍历,栈,JavaScript,详细注释

Lee Chen

大前端 LeetCode

Java零基础到进阶宝典!从小白到大神,金九银十面试这届斩获23K月薪

Java架构追梦

Java 学习 架构 面试 核心知识点

月薪60k的Java开发在阿里是什么级别?对技术能力有哪些要求?

Java架构之路

Java 阿里巴巴 程序员 面试 编程语言

教育场景方案升级| 打通业务前后端,少量开发快速上线(一):互动小班

ZEGO即构

在线教育 低代码

惊险的B站Java后端岗面试之旅,复盘面试经历及面试真题

Java架构之路

Java 程序员 面试 编程语言

合约跟单平台搭建,交易所跟单软件开发商

135深圳3055源中瑞8032

视频会议的应用

anyRTC开发者

ios 音视频 WebRTC 直播 安卓

[Go并发编程实战课]01.Mutex学习笔记

Custer

Go 语言

手把手带你玩转 openEuler | 如何安装 openEuler

openEuler

Linux 开源 操作系统 openEuler

区块链USDT支付开发方案,USDT跨境支付搭建

135深圳3055源中瑞8032

TNFE-Weekly[第七十五周已更新]

莹姐🙈

小程序 大前端 周报

[Go 并发编程实战课]02.Mutex 源代码

Custer

Go 语言

2020年第三季度《全国移动App 风险监测评估报告》

InfoQ_11eaedef67e9

App 移动安全 个人隐私安全

4年Java经验,备战两月成功拿到美团、京东、字节offer

Java架构之路

Java 程序员 面试 编程语言

解释一下==和equals的区别,你以为就这么简单?那你就草率了

小Q

Java 学习 架构 面试 基础

随机森林原理介绍与适用情况(综述篇)

计算机与AI

数据挖掘 学习 数据科学 随机森林

区块链钱包开发需要注意哪些问题?区块链数字钱包搭建

135深圳3055源中瑞8032

1分钟将vscode撸成小霸王

gamedilong

vscode 大前端

【全球案例】ESL 游戏公司如何通过 Jira 定制化解决方案连接全球团队

Atlassian

项目管理 敏捷 Atlassian Jira

vidyo在数字化办公中提供了什么便利?

dwqcmo

音视频 集成架构 解决方案 智能硬件

搞开发,写SQL就够了

棒锤🐮

sql mybatis springboot Web框架 Rocket API

详细分析定制企业应用的价格

Philips

敏捷开发 快速开发

详细讲解:python中的lambda与sorted函数

计算机与AI

Python

手把手带你玩转 openEuler | 初识 openEuler

openEuler

Linux 开源 操作系统

蚁架构师首推SpringBoot套餐(原理+实战+面试)

小Q

Java 学习 架构 微服务 SpringBoot 2

面向对象编程会被抛弃吗?这五大问题不容忽视

Java架构师迁哥

WebSocket从入门到精通,半小时就够!

JackJiang

html5 网络编程 websocket 即时通讯

数字货币交易系统定制开发,区块链交易所

135深圳3055源中瑞8032

TensorFlow 篇 | TensorFlow Serving API

Alex

tensorflow keras model serving tensorflow serving api

腾讯云潘安群:把企业级分布式数据库做到极致-InfoQ