10 月 23 - 25 日,QCon 上海站即将召开,现在购票,享9折优惠 了解详情
写点什么

淘宝曹伟分析低成本、高性能 MySQL 云数据架构

  • 2012-10-25
  • 本文字数:2411 字

    阅读完需:约 8 分钟

曹伟淘宝数据库研发组的成员,前不久他在内部分享了低成本、高性能 MySQL 云数据的架构分析和探索,包括架构的演变过程、系统中的角色和组件等。该文章被褚霸转发在“Erlang 非业余研究”上。

在一开始,曹伟指出:

虽然近两年来 NoSQL 的发展很快,新产品层出不穷,但在业务中应用 NoSQL 对开发者来说要求比较高,而 MySQL 拥有成熟的中间件、运维工具,已经形成一个良性的生态圈等,因此从现阶段来看,MySQL 占主导性,NoSQL 为辅。

接下来,曹伟介绍了他们的工作成果:

我们(阿里集团核心系统数据库团队)……设计和实现了一套 UMP(Unified MySQL Platform) 系统,提供低成本和高性能的 MySQL 云数据服务。开发者从平台上申请 MySQL 实例资源,通过平台提供的单一入口来访问数据,UMP 系统内部维护和管理资源池,以对用户透明的形式提供主从热备、数据备份、迁移、容灾、读写分离、分库分表等一系列服务。平台通过在一台物理机上运行多个 MySQL 实例的方式来降低成本,并且实现了资源隔离,按需分配和限制 CPU、内存和 IO 资源,同时支持不影响提供数据服务的前提下根据用户业务的发展动态的扩容和缩容。

曹伟分析了该系统的架构演变过程:

第一版基于 mysql-proxy 0.8 版修复若干 bug,并对 proxy 插件中管理用户连接和数据库连接的状态机流程进行一些修改,同时编写 Lua 脚本实现去中心数据库获取用户认证信息和后台数据库地址,对用户进行验证,建立到后台数据库的连接和转发数据包等逻辑。

图:UMP 系统第一版架构

他提到第一版的几个问题:

  1. mysql-proxy 0.8 版对多线程的支持比较简单粗暴,导致几个恶劣后果:
  • 造成“惊群”现象,多个线程被唤醒但只有一个线程需要去任务;
  • 任务的 CPU 亲缘性比较差,在同一个状态机上触发的事件会在多个处理器上来回切换执行;
  • mysql-proxy 中还使用了全局 Lua 锁,同时仅允许一个工作线程执行 Lua 脚本,因此 mysql-proxy 多线程模式下的性能远不能同 CPU 核数保持线性增长,甚至在 16 核上的性能还不如 4 核。
  • 以上原因导致单进程模式时,一台物理机上需要部署多个进程才能有效利用机器的处理能力,但给部署、监控和服务的升级带来麻烦。
  1. 其次,限于 mysql-proxy 的框架,功能上不容易扩展,实现用户的连接数限制、QPS 限制、以及主从切换、读写分离、分库分表等一系列功能比较困难。
  2. 最后,mysql-proxy 的社区近些年来并不活跃,而且 C 语言对开发者功底的要求比较高,很难要求团队所有成员协同开发出兼顾优雅和正确性的代码。

因此,他们决定用 Erlang 重写,原因在于:

  • 和操作系统的进程 / 线程相比,Erlang 进程同样是并发执行的单位,但特别的轻量级,它是在 Erlang 虚拟机内管理和调度的“绿进程”,即用户态进程。
  • Erlang/OTP 很好的抽象了开发一个分布式的、高容错性的应用程序所需的要素,包括:网络编程框架、序列化和反序列化、容错、热部署。

在设计当前的 UMP 系统架构时,团队遵循了以下原则:

  • 系统对外保持单一入口,对内维护单一的资源池。
  • 保证服务的高可用性,消除单点故障。
  • 保证系统是弹性可伸缩的,可以动态的增加、删减计算与存储节点。
  • 保证分配给用户的资源也是弹性可伸缩的,资源之间相互隔离。

图:UMP 系统现有架构

UMP 系统中有如下角色:

  • controller 服务器:向 UMP 集群提供各种管理服务,实现元数据存储、集群成员管理、MySQL 实例管理、故障恢复、备份、迁移、扩容等功能。
  • proxy 服务器:向用户提供访问 MySQL 数据库的服务,它完全实现了 MySQL 协议;除数据路由的基本功能外,Proxy 服务器中还实现了资源限制、屏蔽 MySQL 实例故障、读写分离、分库分表、记录用户访问日志的功能。
  • agent 服务器:部署在运行 MySQL 进程的机器上,用来管理每台物理机上 MySQL 实例,执行创建、删除、备份、迁移、主从切换等操作,收集和分析 MySQL 进程的统计信息、bin log、slow query log。
  • API/Web 服务器:向用户提供了系统管理界面。它们是基于开源项目 Mochiweb 与 Chicago Boss 开发的 Mochiweb 提供 http/https 服务。
  • 日志分析服务器:存储和分析 Proxy 服务器传入的用户访问日志,并实现了实时索引供用户查询一段时间内的慢日志和统计报表。
  • 信息统计服务器:定期将采集到的用户的连接数、QPS 数值,以及 MySQL 实例的进程状态用 RRDtool 进行统计,可以画图展示到 Web 界面上,也可以为今后实现弹性的资源分配和自动化的 MySQL 实例迁移提供依据。

依赖的开源组件有:

  • Mnesia:Mnesia 是 OTP 提供的分布式数据库,支持事务,支持透明的数据分片,利用两阶段锁实现分布式事务,可以线性扩展到至少 50 个节点。Mnesia 更倾向于牺牲可用性来换取强一致性,但它也提供了脏读、脏写操作,可以绕过事务管理去操作数据。
  • LVS:实现负载均衡,用户应用重连后会被 LVS 定向到其他的 proxy 上。
  • RabbitMQ:提供 UMP 系统中各节点间的通信(不包括 SQL 查询、日志等大数据流的传输,这些还是直接走 TCP 的)
  • ZooKeeper:主要发挥配置服务器、分布式锁,以及监控所有 MySQL 实例的作用

对于该系统的作用,曹伟总结到:

在多个组件的协同作业下,整个系统实现了对用户透明的容灾、读写分离、分库分表功能。系统内部还通过多个小规模用户共享同一个 MySQL 实例,中等规模用户独占一个 MySQL 实例,多个 MySQL 实例共享同一个物理机的方式实现资源的虚拟化,降低整体成本。在资源隔离方面,通过 Cgroup 限制 MySQL 进程资源,以及在 proxy 服务器端限制 QPS 相结合的方法,UMP 系统实现了资源虚拟化的同时保障用户的服务质量。此外,UMP 系统综合运用 SSL 数据库连接、数据访问 IP 白名单、记录用户操作日志、SQL 拦截等技术保护用户的数据安全。

对于该系统的应用,曹伟指出:

UMP 系统的一些组件,例如 proxy 服务器和日志分析服务器,目前已经运用在天猫的聚石塔平台中,为电商和 ISV 提供安全的数据云服务。此外,UMP 系统还运用在淘宝的店铺装修平台中,为开发者提供数据服务。下一阶段,我们希望 UMP 系统可以为进一步降低集团内部数据存储的成本做出贡献。

2012-10-25 20:0316208
用户头像

发布了 479 篇内容, 共 176.3 次阅读, 收获喜欢 53 次。

关注

评论

发布
暂无评论
发现更多内容

数字孪生搭高台,温控节能唱新戏

鲸品堂

数字孪生 建模 智慧机房

安全文件传输:如何降低数据丢失的风险

镭速

文件传输 安全文件传输

亚信安慧荣获第二届“鼎信杯”优秀技术支撑奖

亚信AntDB数据库

数据库 AntDB AntDB数据库 企业号 7 月 PK 榜

Stepn跑鞋/Jogger慢跑者NFT系统开发案例

薇電13242772558

NFT

DevOps国际峰会 | 采访龙智总经理,分享DevOps见解与行业趋势

龙智—DevSecOps解决方案

DevOps 金融行业 devops国际峰会

全网最强分布式事务详解

程序员小毕

Java 分布式 分布式事务 后端 架构师

户外LED显示屏怎样在5G时代下发展?

Dylan

5G 广告 数字化 城市 户外LED显示屏

软件测试 | MySQL字符集的修改步骤

测吧(北京)科技有限公司

测试

容灾切换时间减少 99%,“云边协同”如何提升影演服务效率与稳定性

阿里巴巴云原生

阿里云 云原生

数智融合促进资产共享,实现企业资产效益最大化

用友BIP

资产云

宁波企业等保测评找哪家?怎么做?

行云管家

等保 等级保护 等保测评 宁波

【升职加薪秘籍】我在服务监控方面的实践(1)-监控蓝图

蓝胖子的编程梦

elasticsearch 性能优化 Grafana 服务监控 #Prometheus

比AD更好用的“PCB设计文件转生产文件”工具

华秋PCB

软件 工具 AD PCB PCB设计

一份数据满足所有数据场景?腾讯云数据湖解决方案及DLC内核技术介绍

腾讯云大数据

数据湖

和鲸 ModelWhale 与麒麟系统适配认证,打造自主安全、性能可靠的信创 AI 基础软件

ModelWhale

人工智能 信创 国产 麒麟软件 数据科学平台

服装行业MES系统解决方案|免费使用MES系统

万界星空科技

开源 MES系统 服装行业

业财税档融合:大企业管理升级的必然选择

用友BIP

税务云 业财税档融合

数字孪生(Digital Twin)快速入门:简介以及应用示例

龙智—DevSecOps解决方案

数字孪生 digital twin

软件测试 | MySQL存储引擎

测吧(北京)科技有限公司

测试

软件测试 | MyISAM是什么

测吧(北京)科技有限公司

测试

第二届粤港澳大湾区(黄埔)国际算法算例大赛正式开启报名

ModelWhale

算法大赛 琶洲 院士 数据科学竞赛 算法赛

我也创业了!

Serverless Devs

人工智能 Serverless 云原生

出海是产业互联网发展的必然趋势之一

用友BIP

产业互联网 中企出海

西安航天基地人才创新创业大赛正式启动

西安 大赛 比赛 西安航天 企业人才

【云计算小知识】云环境是什么意思?有什么优点?

行云管家

云计算 云资源 云管 云环境

8月31日,上海!第十八届中国IDC产业(长三角)年度大典即将召开!

中国IDC圈

数据中心

软件测试 | MySQL字符集的设置

测吧(北京)科技有限公司

测试

故障注入的方法与工具

DevOps和数字孪生

故障注入 汽车行业

淘宝曹伟分析低成本、高性能MySQL云数据架构_Erlang_郑柯_InfoQ精选文章