写点什么

腾讯云潘安群:把企业级分布式数据库做到极致

  • 2021 年 11 月 24 日
  • 本文字数:3782 字

    阅读完需:约 12 分钟

腾讯云潘安群:把企业级分布式数据库做到极致

数据库是旧市场,也是新市场,是一个既成熟又有新机遇的战场。

 

举些例子:

  • 第七次全国人口普查:750 万终端、十亿级数据,实时入库、实时统计、实时分析,这是对系统极致弹性、大并发计算以及连续稳定的挑战。

  • 健康码:覆盖全国 10 亿人口以上,上线 3 个月即累计亮码 200 亿次,考验的是系统对极速流量突增场景的应对。

  • 平安银行,是行业首例银行核心系统数据库从传统集中式大型机下移至国产分布式架构的案例,打破数十年国外商业数据库的垄断。

 

这些场景,对传统集中式数据库提出了极大地挑战。


当传统技术架构逐渐难以满足产业互联网时代的需求,转型升级是必然的趋势选择。当前,云计算技术作为当前企业 IT 架构的不二之选,已走过探索实践阶段,迎来了多样化、规模化的发展时期。同时,随着国家对数据库等基础技术设施的自主可控要求越来越明确,国产化替换成为国家战略。在技术升级和国产替代双重驱动下,国产数据库获得了前所未有的历史新机遇。


面对历史新机遇,基础技术创新要如何为产业带来新的能力驱动,在近日2021腾讯数字生态大会上,腾讯云数据库技术负责人潘安群,围绕“将企业级分布式数据库做到极致”的主题,分享了腾讯云数据库 TDSQL 的一些工作和思考。

云时代数据库技术趋势

 

首先随着云计算的发展,整个 IT 基础技术发生了翻天覆地的变化:


l IT 设施从零散走向集中化、规模化。过去,每一个企业自建各自的数据中心等 IT 基础设施,包括服务器、网络到操作系统、数据库等,形成企业市场上零散化的 IT 设施模式。而今天基于云计算服务,企业 IT 设施呈现集中化、规模化效应,对效率、性能、成本的要求提升。


  • 交付方式从软件交付走向服务交付。过去购买商业化软件,或者是使用开源软件产品,基本是通过商业化或开源的方式进行分发,而现在完全变成一个个服务的形式进行交付。这带来的变化是,用户不需要再盘算该购买几台服务器,而是在具有数据库使用需求时,直接云上使用即可,企业 IT 人员不再需要自己去维护这些数据库软件。

  • 开发方式从底层(IaaS+PaaS)走向上层(SaaS)。即呈现从过去业务进行非常底层的开发以及调用底层 API 等操作的模式,转向 SaaS 化、Severless 模式的服务。在云上,开发者可以使用各种各样的 SaaS 服务。无论从效率、基础技术能力等方面来说,这都是一个巨大的变化。

  • 数据形式及应用场景从单一化走向多样化。过去传统行业,比如金融行业,最核心是记账、结算,业务形式比较简单,但现在金融行业所面临的是要做互联网化、数字化的全面升级,包括各行各业都在做数字化升级,数据形式已经不再是过去传统数据库那样简单的模式,而是数据形态、访问模式等会越来越多样化。


基于这样的变化,我们认为未来的数据库应该是:单引擎极致化,加多引擎自治融合的 DBaaS 服务。那么具体表现为:


  • 单一引擎极致化。垂直场景在云上的规模化,使得我们必须将单引擎做到极致,才能进一步放大规模效应。

  • 多引擎统一智能融合。而业务形态的多样化,单一数据库包打天下的时代已经过去,多引擎化成为必然趋势。当然我们不希望让用户陷入选择,我们希望对客户来说,多即是一。如何做到多即是一,如何做到在超大规模数据库集群的一体化,智能化是决定这场变革成败的关键因素。

  • DBaaS 交付。基于多引擎智能融合,做到服务即交付,即交付给客户的是一套完整数据库服务,而不是一堆软件。这是我们在企业级市场的理念。

TDSQL 产品核心能力演进和突破

 

在以上理念下,今年 TDSQL 产品多个引擎持续实现了相应的突破。

产品演进的驱动力:企业级市场核心场景挑战

 

“国产化+数据爆发+复杂度提升”是数据库行业底层驱动力。随着金融政企技术系统对国产化、数字化改造升级的需求加速,国产企业级分布式数据库单引擎极致能力主要受到金融级核心系统应用能力、快速平稳“去 O”、新形互联网业务转型等需求和挑战驱动,实现技术突破。


首先,总结而言,数字化时代金融、政务、互联网、电商等企业对分布式数据库的应用需求体现在以下 4 个方面:


(1)支持稳态业务的核心应用能力需求持续增强:表现为需要数据库系统在高可用、强一致、稳定可靠的基础上,同时实现高性能、高可扩展,满足业务稳定、快速发展过程中对基础技术要求。与此同时,核心应用关系企业系统最核心的交易,改造起来时间长、投入大,对国产数据库的技术以及服务能力要求进一步提高。


(2)平稳快速“去 O”:除了核心应用,金融政企系统中还有大量周边系统或者次核心应用,这些核心应用往往有几百上千套系统,由于历史原因需要短期之内快速“去 O”,并基于国产分布式数据库快速上线,如第一个月上线 10 个系统、第二个月上线 20 个系统……快速完成“去 O”的场景需求,要求国产数据库产品对 Oracle 兼容具备极高的兼容能力,并能做到高可用、强一致。


(3)自动弹性扩缩容、应对敏态业务需求加大:业务在进行数字化转型过程中,场景化、线上化是大势所趋,这意味着技术系统中的数据吞吐量、业务形态、数据访问和计算管控等也将随之发生巨大变化,变得更加敏捷、多样化,即面临更多的不可预知性,对底层技术系统在灵活性与扩展性方面提出全新的要求。


(4)海量数据复杂分析场景需求加大:在数字化业务的融合升级中,数据处理的规模大幅增长,对处理的实时性和效率有更高要求,因此亟需实现对海量数据的复杂分析、实时计算处理能力。

TDSQL 产品核心能力演进和突破

 


针对上述场景需求和挑战,TDSQL 从不同应用场景匹配不同引擎,为客户提供融合统一的产品服务,以及从前端管理到底层统一的智能管控体系。

 

(1)金融级核心交易 OLTP 引擎

 


金融级分布式 OLTP 引擎是 TDSQL 主打特性体现在强一致、高可用、分布式事务、兼容性等方面,可实现“两地三中心、多地多中心”高可用灵活部署架构的产品引擎,它在跨数据中心强同步复制机制下可实现“RTO<30S、RPO=0”,同时在高性能基础上保持全局一致性。本次引擎全新升级,将为用户带来全局索引、视图、执行计划绑定、计算下推等能力升级,实现系统性能提升 50%。


金融级 OLTP 引擎是当前大部分 TDSQL 银行核心系统用户所采用的引擎,具备产品成熟度高、分布式事务能力级别达到行业最高等特性。在互联网银行、区域性银行以及股份制银行、国有大行等领域都有成功案例。

 

(2)TDSQL 金融级 HTAP 引擎(Oracle 兼容)

 


本次大会,我们也面向行业全新发布 TDSQL 金融级 HTAP 引擎(Oracle 兼容版)。这款引擎在保险、运营商等行业兼容度高达 98%以上,同时在数据的一致性、高可用方面也完全满足金融行业的要求,可以帮助金融机构在极短时间内,几乎零成本改造的情况下,实现国产化。

 

(3)TDSQL 全自研新敏态引擎



这也是本次 TDSQL 带来的全新重磅发布。TDSQL 新敏态引擎 100%兼容 MySQL,计算/存储资源均可独立全透明弹性扩缩容,实现了 PB 级存储的 Online DDL;计算层每个节点均可读写,轻松支撑千万级 QPS 流量,可以有效应对业务的变化。针对海量数据存储的场景,实现最高最高 20 倍压缩率的超高压缩比存储能力,大幅节省资源成本。


更关键的是,其独有的数据形态自动感知特性,可以实现数据库全域智能化自适应调度,能够根据业务负载情况自动迁移,打散热点,降低分布式事务比例,获得极致的扩展性和性能。


与此同时,TDSQL 新敏态引擎具有对分布式事务完整支持的特性,支撑了上层计算引擎多主读写架构的实现,并与计算引擎结合实现了计算下推、分布式事务一阶段优化等多纬度优化,进一步实现分布式数据库系统性能极致提升,有效适配企业新敏态业务需求。


在腾讯内部业务实践中,TDSQL 新敏态引擎可支撑业务在保持高性能且连续服务的基础上,一个月内完成了高达 1000 次表结构在线变更。

 

(4)TDSQL-A 分析型引擎

 


今年 5 月份我们发布了分析引擎 TDSQL-A,今天将迎来再次的全面升级。我们在架构上实现了计算与转发双平面的基础上,全新自研了列式存储引擎,搭配全新的智能执行引擎,向量化执行性能有 10 倍以上的提升,同时凭借业界独有的分布式延迟物化技术,大幅优化了分布式场景下关联查询的计算效率,可以帮助客户进一步挖掘数据价值。

 

(5)智能统一管控

 


这是腾讯云数据库智能统一管控平台,可让数据在不同引擎之间自由流动,更好地支持业务快速发展。具体包括:


  • 以超过 769 个接口能力,支持系统实现不同应用场景灵活调用、一键运营;

  • 实现 90%常见故障秒级诊断及 SQL 优化建说议的智能运维体系,大幅降低系统运维复杂度;

  • 基于多源同步工具,实现多引擎数据秒级同步,对业务屏蔽引擎差异;

  • 实现插件式负载均衡管理,进一步提升可用性。目前支持 F5、LVS、TGW、VPCGW 等多种……

TDSQL 应用场景突破

   

目前,TDSQL 已服务近半国内 TOP20 银行,TOP10 银行中服务比例也高达 60%。同时,TDSQL 在不同金融机构核心系统中的渗透率明显提升,如金融核心系统客户超过 20 家,率先实现行业突破,包括平安银行、张家港农商行、昆山农商行等银行、保险、券商机构。

 

而在电信运营商等行业场景,腾讯云数据库 TDSQL 也实现了率先突破,如在 2021 年中标某省移动核心系统从传统集中式大型机系列下移至国产数据库项目,是行业首家运营商核心系统数据库分布式国产化改造项目。

 

无论是在银行还是保险、政务等行业,TDSQL 在关键领域的标杆头部客户已具有丰富的成功案例实践。

 

基于大量大规模银行核心系统应用实践,TDSQL 一路走来经历了最严苛的考验。我们认为,国产数据库即将进入规模化的阶段,我们希望未来五年能够为 1000 家金融机构实现核心系统数据库国产化改造升级,也希望广大合作伙伴与我们一同实现这个国产数据库的长期事业。感谢!

2021 年 11 月 24 日 15:241

评论

发布
暂无评论
发现更多内容

【IM开源推荐】前微信技术专家打造的开源的即时通讯组件OpenIM

OpenIM

使用分布式锁的正确姿势

张大彪

分布式锁

五面腾讯斩获offer定级T3-2,附2021年最新最全136道面试真题

Java技术那些事

Java程序员进阶必读经典《Java程序性能优化》,感受Java开发中的大智慧,让你的Java程序更优美!

程序员知识圈

Java 程序员 架构 面试 编程语言

网络先行与创新之城:当“IPv6+”成为千行百业的数字化支点

脑极体

观测云品牌正式亮相,携手中国信通院共推国内可观测性概念与技术发展!

观测云

坚持客户第一!

鉴释

产品研发 静态代码分析

英特尔北京2022年冬奥会体验中心落成

科技新消息

百分点数据科学实验室:白酒零售行业商品搭售方案

百分点科技技术团队

Moviepy音视频剪辑:黑白视频的帧图像格式探究

老猿Python

Python 音视频 图像处理 引航计划 Moviepy视频剪辑处理

Alibaba iOS 工程架构腐化治理实践

阿里巴巴移动技术

ios 研发效能 客户端 架构治理

40 个 SpringBoot 常用注解:让生产力爆表

Java 面试 框架 Spring Boot 2

2021年8月券商App行情刷新及交易体验评测报告

博睿数据

计算机操作系统学习笔记 | 进程与程序

Regan Yue

操作系统 9月日更

捷报!亚马逊云科技DGL项目荣获2021OSCAR开源尖峰案例

亚马逊云科技 (Amazon Web Services)

云计算 开源

太牛了!从没见过有哪位大佬能把TCP/IP协议知识点写得这么清晰明了!

程序员知识圈

Java 程序员 架构 面试 编程语言

跪着也要看完!Alibaba大佬9月最新出品:Spring security高级笔记

程序员小毕

Java 程序员 架构 面试 springsecurity

WeTest21年焕新钜惠活动福利你领到了吗?

WeTest

“盘古”走向产业山峦,打开了一串AI落地的新脑洞

脑极体

ONNX 浅析:如何加速深度学习算法工程化?

拍乐云Pano

人工智能 深度学习 音视频

阿里P8大牛的建议,工作1-5年的Java工程师如何让自己变得更值钱

程序员知识圈

Java 程序员 架构 面试 编程语言

直播|实时音视频抗弱网技术揭秘

百度开发者中心

最佳实践 音视频 直播

开源应用中心|这款小而强大的开源博客程序,简直让人爱不释手!

开源

相约重庆,2021 DEMO CHINA创新中国峰会倒计时六天

创业邦

Javacv 音视频小工具 - 下载抖音视频

声网Agora

Java 音视频 ffmpeg javacv

TS 基础之模块化

法医

typescript 前端 9月日更

通过Kubernetes监控探索应用架构,发现预期外的流量

阿里巴巴云原生

Kubernetes 云原生

2021最新版 Java面试题大全1000+面试题附答案详解,看完跳槽吊打面试官

Java 程序员 架构 面试 计算机

香!Alibaba今年第三次更新的JDK源码速成笔记(9月最新版)开源!

程序员小毕

Java 源码 程序员 架构 面试

博睿数据赋能数字化转型,用户体验升级需要有“温度”的技术

博睿数据

容器持久化存储训练营”启动倒计时!3天攻破K8s难点

阿里巴巴云原生

Kubernetes 容器 原生云

数据cool谈(第2期)寻找下一代企业级数据库

数据cool谈(第2期)寻找下一代企业级数据库

腾讯云潘安群:把企业级分布式数据库做到极致-InfoQ