NVIDIA 初创加速计划,免费加速您的创业启动 了解详情
写点什么

如何基于云场景设计高性能分布式数据库?

  • 2020-03-31
  • 本文字数:1417 字

    阅读完需:约 5 分钟

如何基于云场景设计高性能分布式数据库?

在云时代,企业 IT 业务走向跨地区、全球化部署,IT 应用软件逐渐云化、分布式化。数据库作为承载企业业务和应用的重心,具备跨地区分布式部署能力的需求日益凸显。也因此,华为云技术专家带来的主题演讲《基于云场景架构设计的分布式数据库》广受好评。


一切都会运行在云端,好的架构是包容所有好技术的重要前提。本次演讲不但总结了传统数据库上云或云服务化中遇到的问题,而且深入介绍了华为云原生分布式数据库的技术原理和最佳实践,与众多参会者共同探讨了云数据库在新时期的使用和发展方向。

传统架构下的“数据孤岛”

传统数据库架构源于 30 多年前的硬件设计,硬件上使用单处理器、小内存、慢速磁盘,技术上采用双机热备提供高可用(HA)。这意味着主库完成所有操作,传送日志到从库后,从库才重放日志更新本地数据副本。因此,数据库发生主库宕机、需要主备切换时系统依赖第三方仲裁。且主备实例间仅交互日志,这对于新型的互联网业务和高并发场景而言,严重制约了数据可用性和可靠性。



传统数据库架构


当前,中国有 70% 的新型企业的业务因数据挑战而受影响,其面临的主要问题包括了高成本和低效率。受数据“大爆炸”影响,新型企业的数据像孤岛一样散落分隔在各处,数据备份、数据挖掘和问题排查需要大量资源。企业负担不起商业 license 和专业工程师高昂的费用,因此存储、转移、分析并使用这些数据非常困难。


在此背景下,高可用、易用易维、高扩展、高性能、与大数据相辅相成的云数据库,尤其是基于云场景架构设计的云原生分布式数据库,成为企业上云最佳选择。其中计算与存储分离、能充分发挥最新硬件性能、利用 AI 和 ML(深度学习) 等功能成发展趋势。


Gartner 报告显示


到 2019 年,90% 的云数据库架构采用计算与存储分离, 剩下 10%没有分离的,也会被市场逐步淘汰。此外, NUMA 架构的多核 CPU、Optane SSDs 存储、RDMA 网络、GPU/ FPGA 专有硬件等最新硬件的性能也能被新架构下的云数据库吸收,并结合人工智能和深度学习加快自身进化。

云原生分布式数据库技术原理

值得一提的是,华为云得益于 30 多年的技术积累,已经完成新一代的云原生数据库服务进化。以华为云将推出的高性能云原生分布式数据库为例,其设计正是基于新硬件性能,围绕解耦、近数据计算下推(NDP)、引入 AI 和 ML 等功能特性展开。



华为云原生分布式数据库架构


华为云原生分布式数据库将实现计算与存储分离、主从解耦;将 IO 密集型负载下推到存储节点完成,比如 redo 处理,页重构;多租户支持;引入 AI 和 ML 打造自治系统自扩展、自调优等功能。


华为云原生分布式数据库还充分利用云存储的能力,实现存储层独立容错和自愈服务、单写多读的共享访问。发挥 SSD 优势,充分利用 SSD 的随机读性能,避免随机写带来的写放大,减少磨损,减小时延。并采用 RDMA 等新网络技术和硬件,让网络不再是瓶颈,从而使整体性能得到很大提升。


此外,华为云原生分布式数据库还拥有即开即用、弹性伸缩、轻松管理、经济实用等特点,可以让用户不用关心底层架构和基础运维,只专注业务发展。这与发展云计算技术最主要的目的不谋而合。


在中国通信院对已经使用和有计划使用云计算技术的企业调查中,67.81% 的公司认为缩短应用部署时间是应用云计算最重要的目的,62.56% 的公司认为节约成本是应用云计算技术最重要的目的。



用户应用云计算技术的目的


(数据来源:中国信息通信研究院)


本文转载自 华为云产品与解决方案 公众号。


原文链接:https://mp.weixin.qq.com/s/YG5MRDaC4zxrgCLPEaqCUA


2020-03-31 14:39840

评论

发布
暂无评论
发现更多内容

kubernetes灰度发布

CTO技术共享

开源 签约计划第三季 8月月更

kubernetes日常命令

CTO技术共享

开源 签约计划第三季 8月月更

Kubernetes微服务框架

CTO技术共享

开源 签约计划第三季 8月月更

Spring(一、快速入门)

开源 Spring5 8月月更

Kubernetes DevOps 工具

CTO技术共享

开源 签约计划第三季 8月月更

Kubernetes 开源未来

CTO技术共享

开源 签约计划第三季 8月月更

Kubernetes 怎么优雅升级

CTO技术共享

开源 签约计划第三季 8月月更

【ELT.ZIP】OpenHarmony啃论文俱乐部——学术科研方法论沉淀辑

ELT.ZIP

方法论 OpenHarmony ELT.ZIP 啃论文

数据治理(一):为什么要数据治理

Lansonli

大数据 数据治理 8月月更

数字化转型怎么就那么的难?!

BizFree

数字化转型 工业互联网 智能制造

关于在谷歌浏览器,vue-video-player 实现断点续播,currentTime不生效问题。

泉城老铁

Angular 为什么要引入 injection token 的概念

Jerry Wang

前端开发 angular web开发 依赖注入 8月月更

Kubernetes 怎么调度管理CPU

CTO技术共享

开源 签约计划第三季 8月月更

Kubernetes 架构知识

CTO技术共享

开源 签约计划第三季 8月月更

Kubernetes 运维经验分享

CTO技术共享

开源 签约计划第三季 8月月更

架构实战营毕业总结

融冰

Centos7安装系统安装docker

Geek_8d9022

数据库日增20万条数据,用读写分离和分库分表加持破它

知识浅谈

8月月更

Kubernetes 原生接口

CTO技术共享

开源 签约计划第三季 8月月更

Kubernetes 部署策略

CTO技术共享

开源 签约计划第三季 8月月更

Kubernetes 集群故障案例

CTO技术共享

开源 签约计划第三季 8月月更

2022秋招前端面试题(一)(附答案)

helloworld1024fd

前端面试

2022秋招前端面试题(二)(附答案)

helloworld1024fd

前端面试

【LeetCode】 数组中的字符串匹配Java题解

Albert

LeetCode 8月月更

SAP API 开发方法大全

Jerry Wang

API SAP abap 全栈开发 8月月更

Spring Cloud 入门 -- 搭建Eureka注册中心 实现服务者与消费者的服务调用

Bug终结者

Java 云原生 8月月更

kubernetes 常见架构图

CTO技术共享

开源 签约计划第三季 8月月更

GItHub又火了!2022最全 Java面试手册终于开源了,包含了29个知识点

Java工程师

Java 面试

纯色山鹪莺

猫猫巧克力

ES6新特性——generator

猫猫巧克力

8月月更

架构实战营模块九作业

融冰

如何基于云场景设计高性能分布式数据库?_数据库_华为云产品与解决方案_InfoQ精选文章