写点什么

如何基于云场景设计高性能分布式数据库?

  • 2020-03-31
  • 本文字数:1417 字

    阅读完需:约 5 分钟

如何基于云场景设计高性能分布式数据库?

在云时代,企业 IT 业务走向跨地区、全球化部署,IT 应用软件逐渐云化、分布式化。数据库作为承载企业业务和应用的重心,具备跨地区分布式部署能力的需求日益凸显。也因此,华为云技术专家带来的主题演讲《基于云场景架构设计的分布式数据库》广受好评。


一切都会运行在云端,好的架构是包容所有好技术的重要前提。本次演讲不但总结了传统数据库上云或云服务化中遇到的问题,而且深入介绍了华为云原生分布式数据库的技术原理和最佳实践,与众多参会者共同探讨了云数据库在新时期的使用和发展方向。

传统架构下的“数据孤岛”

传统数据库架构源于 30 多年前的硬件设计,硬件上使用单处理器、小内存、慢速磁盘,技术上采用双机热备提供高可用(HA)。这意味着主库完成所有操作,传送日志到从库后,从库才重放日志更新本地数据副本。因此,数据库发生主库宕机、需要主备切换时系统依赖第三方仲裁。且主备实例间仅交互日志,这对于新型的互联网业务和高并发场景而言,严重制约了数据可用性和可靠性。



传统数据库架构


当前,中国有 70% 的新型企业的业务因数据挑战而受影响,其面临的主要问题包括了高成本和低效率。受数据“大爆炸”影响,新型企业的数据像孤岛一样散落分隔在各处,数据备份、数据挖掘和问题排查需要大量资源。企业负担不起商业 license 和专业工程师高昂的费用,因此存储、转移、分析并使用这些数据非常困难。


在此背景下,高可用、易用易维、高扩展、高性能、与大数据相辅相成的云数据库,尤其是基于云场景架构设计的云原生分布式数据库,成为企业上云最佳选择。其中计算与存储分离、能充分发挥最新硬件性能、利用 AI 和 ML(深度学习) 等功能成发展趋势。


Gartner 报告显示


到 2019 年,90% 的云数据库架构采用计算与存储分离, 剩下 10%没有分离的,也会被市场逐步淘汰。此外, NUMA 架构的多核 CPU、Optane SSDs 存储、RDMA 网络、GPU/ FPGA 专有硬件等最新硬件的性能也能被新架构下的云数据库吸收,并结合人工智能和深度学习加快自身进化。

云原生分布式数据库技术原理

值得一提的是,华为云得益于 30 多年的技术积累,已经完成新一代的云原生数据库服务进化。以华为云将推出的高性能云原生分布式数据库为例,其设计正是基于新硬件性能,围绕解耦、近数据计算下推(NDP)、引入 AI 和 ML 等功能特性展开。



华为云原生分布式数据库架构


华为云原生分布式数据库将实现计算与存储分离、主从解耦;将 IO 密集型负载下推到存储节点完成,比如 redo 处理,页重构;多租户支持;引入 AI 和 ML 打造自治系统自扩展、自调优等功能。


华为云原生分布式数据库还充分利用云存储的能力,实现存储层独立容错和自愈服务、单写多读的共享访问。发挥 SSD 优势,充分利用 SSD 的随机读性能,避免随机写带来的写放大,减少磨损,减小时延。并采用 RDMA 等新网络技术和硬件,让网络不再是瓶颈,从而使整体性能得到很大提升。


此外,华为云原生分布式数据库还拥有即开即用、弹性伸缩、轻松管理、经济实用等特点,可以让用户不用关心底层架构和基础运维,只专注业务发展。这与发展云计算技术最主要的目的不谋而合。


在中国通信院对已经使用和有计划使用云计算技术的企业调查中,67.81% 的公司认为缩短应用部署时间是应用云计算最重要的目的,62.56% 的公司认为节约成本是应用云计算技术最重要的目的。



用户应用云计算技术的目的


(数据来源:中国信息通信研究院)


本文转载自 华为云产品与解决方案 公众号。


原文链接:https://mp.weixin.qq.com/s/YG5MRDaC4zxrgCLPEaqCUA


2020-03-31 14:391190

评论

发布
暂无评论
发现更多内容

新金景集团:二十载专注做好女性私密

新消费日报

CCF-CV企业交流会—走进合合信息顺利举办,打造大模型时代的可信AI

合合技术团队

人工智能 信息安全 图像安全

如何防止Instagram IP被限制?

Ogcloud

海外社媒运营 海外社媒营销 ins运营 海外社媒推广

荣誉墙,上新!

天翼云开发者社区

云计算 网络安全

云主机安装Redis,基于CodeArts模拟电商平台秒杀抢购

华为云开发者联盟

缓存 redis' 键值数据库 CodeArts

万众瞩目!这里开“展”!

天翼云开发者社区

云计算 AI

微前端到底应该怎么学?

不在线第一只蜗牛

前端 微前端

FORCE 原动力大会|火山引擎边缘云亮点干货先知晓!

火山引擎边缘云

想提高查询性能,用GaussDB(DWS) in表达式还是or表达式?

华为云开发者联盟

数据库 GaussDB 表达式 大数据‘’ #SQL

ChatGPT在功能测试用例生成方面的优势

不在线第一只蜗牛

ChatGPT

TON游戏现状一览:区块链与Telegram的完美融合

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

如何做区块链破局的模式:区块链如何破局

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 交易所开发代币开发

设备间无缝互联,开启智能“对话”新时代

HarmonyOS SDK

harmoyos

IoTDB 常见问题 Q&A 第二期

Apache IoTDB

Java面试突击手册,一周刷完这300道面试题,你也可以当架构师!

Summer

Java 程序员 面试 架构师 大厂

GitHub下载破千万!这份Java大厂面试指南,竟是阿里面试官上传的

Summer

Java 程序员 面试 架构师 大厂

“硬”核存储,等你来“盘”!

天翼云开发者社区

云计算 存储 硬盘

The Past, Present and Future of Apache Flink

Apache Flink

大数据 flink 实时计算

龙蜥社区落地开源生态发展合作倡议,构建开放兼容的操作系统生态

OpenAnolis小助手

操作系统 龙蜥社区 OpenAnolis

BOE(京东方)北京京东方医院主体结构开工 打造医工融合创新典范

爱极客侠

拼多多根据ID取商品详情原数据API接口的开发应用与收益

科普小能手

电商 API 接口 API 测试 pinduoduo API 拼多多数据

如何基于云场景设计高性能分布式数据库?_数据库_华为云产品与解决方案_InfoQ精选文章