腾讯云 MySQL 内核优化深度分享

  • 腾讯云

2016 年 6 月 16 日

话题:数据库语言 & 开发腾讯云运维

作者简介:

简怀兵,讯云数据库高级工程师,负责腾讯云 CDB 内核及基础设施建设,先后供职于 Thomson Reuters 和 YY 等公司,PTimeDB 作者,曾获一项发明专利,从事 mysql 内核开发工作 8 年,具有丰富的优化经验;在分布式存储等领域有较丰富经验;

早期的 CDB 主要基于开源的 Oracle MySQL 分支,侧重于优化运维和运营的 OSS 系统。在腾讯云,因为用户数的不断增加,对 CDB for MySQL 提出越来越高的要求,腾讯云 CDB 团队针对用户的需求和业界发展的技术趋势,对 CDB for MySQL 分支进行深度的定制优化。优化重点围绕内核性能、内核功能和外围 OSS 系统三个维度展开,具体的做法如下:

内核性能的优化

由于腾讯云上的 DB 基本都需要跨园区灾备的特性,因此 CDB for MySQL 的优化主要针对主从 DB 部署在跨园区网络拓扑的前提下,重点去解决真实部署环境下的性能难题。经过分析和调研,我们将优化的思路归纳为:“消除冗余 I/O、缩短 I/O 路径和避免大锁竞争”。以下是内核性能的部分案例:

1、主备 DB 间的复制优化

问题分析

如上图所示,在原生 MySQL 的复制架构中,Master 侧通过 Dump 线程不断发送 Binlog 事件给 Slave 的 I/O 线程,Slave 的 I/O 线程在接受到 Binlog 事件后,有两个主要的动作:

  • 写入到 Relay Log 中,这个过程会和 Slave SQL 线程争抢保护 Relay Log 的锁。
  • 更新复制元数据 (包含 Master 的位置等信息)。

优化方法

经过分析,我们的优化策略是:

  • Slave I/O 线程和 Slave SQL 线程是典型的单写单读生产者 - 消费者模型,是可以做到无锁设计的;因此实现思路就是 Slave I/O 线程在每次写完数据后,原子更新 Relay Log 的长度信息,Slave SQL 线程读取 Relay Log 的时以长度信息为边界。这样就将原本竞争激烈的 Relay Log 锁化解为无锁;
  • 由于 Binlog 事件中的 GTID(Global Transaction Identifier) 和 DB 事务是一一对应的关系,所以 Relay Log 中的数据本身已经包含了所需要的复制元数据,所以我们可以不写 Master info 文件,消除了冗余的文件 I/O;
  • 由于 DB 都是以事务为更新粒度的,因为在 Relay Log 文件 I/O 上,我们通过合并离散小 I/O 为事务粒度的大 I/O 等手段,使得磁盘 I/O 得以大幅提升。

优化效果

如上图所示,经过优化:左图 35.79% 的锁竞争 (futex) 已经被完全消除;同压测压力下,56.15% 的文件 I/O 开销被优化到 19.16%,Slave I/O 线程被优化为预期的 I/O 密集型线程。

2. 主库事务线程和 Dump 线程间的优化

问题分析

如上图所示,在原生 MySQL 中多个事务提交线程 TrxN 和多个 Dump 线程之间会同时竞争 Binlog 文件资源的保护锁,多个事务提交线程对 Binlog 执行写入,多个 Dump 线程从 Binlog 文件读取数据并发送给 Slave。所有的线程之间是串行执行的!

优化方法

经过分析,我们的优化策略是:

将读写分离开来,多个写入的线程还是在锁保护下串行执行,每一个写入线程写入完成后更新当前 Binlog 的长度信息,多个 Dump 线程以 Binlog 文件的长度信息为读取边界,多个 Dump 线程之间并行执行。以这种方式来让复制拓扑中的 Dump 线程发送得更快!

优化效果

优化后的示意图如下:

经过测试,优化后的内核,不仅提升了事务提交线程的性能,在 Dump 线程较多的情况下,对主从复制性能有较大提升。

主备库交互流程优化

问题分析

如上图所示,在原生 MySQL 中主备库之间的数据发送和 ACK 回应是简单的串行执行,在上一个事件 ACK 回应到达之前,不允许继续发送下一个事件;这个行为在跨园区 (RTT 2-3ms) 的情况性能非常差,而且也不能很好地利用带宽优势。

优化方法

经过分析,我们的优化策略是:

将发送和 ACK 回应的接收独立到不同的线程中,由于发送和接收都是基于 TCP 流的传输,所以时序性是有保障的;这样发送线程可以在未收 ACK 之前继续发送,接受线程收到 ACK 后唤醒等待的线程执行相应的任务。

优化效果

根据实际用例测试,优化后的 TPS 提升为 15% 左右。

内核功能的优化

预留运维帐号连接数配额

在腾讯云上,不时遇到用户 APP 异常或者 BUG 从而占满 DB 的最大连接限制,这是 CDB OSS 帐号无法登录以进行紧急的运维操作。针对这个现状,我们在 MySQL 内核单独开辟了一个可配置的连接数配额,即便在上述场景下,运维帐号仍然可以连接到 DB 进行紧急的运维操作。极大地降低了异常情况下 DB 无政府状态的风险。该帐号仅有数据库运维管理权限,无法获取用户数据,也保证了用户数据的安全性。

主备强同步

针对一些应用对数据的一致性要求非常高,CDB 在 MySQL 原生半同步的基础上进行了深度优化,确保一个事务在主库上提交之前一定已经复制到至少一个备库上。确保主库宕机时数据的一致性。

外围系统的优化

除了以上提到的 MySQL 内核侧的部分优化,我们也在外围 OSS 平台进行了多处优化。例如使用异步 MySQL ping 协议实现大量实例的监控、通过分布式技术来加固原有系统的 HA/ 服务发现和自动扩容等功能、在数据安全 / 故障切换和快速恢复方面也进行了多处优化。

2016 年 7 月 5 日,诚邀您参与腾讯·“云 + 未来”生态峰会,与腾讯董事会主席马化腾先生及各界顶级企业家,国际专家一同,共探产业与互联网融合发展之道,推动互联网 + 生态圈发展。欢迎点击了解http://www.qcloud.com/event/tcc2016?utm_source=infoqlink&utm_medium=wzl&utm_campaign=infoQ

数据库语言 & 开发腾讯云运维