写点什么

TiDB 核心组件 Binlog 正式开源

  • 2019-05-06
  • 本文字数:735 字

    阅读完需:约 2 分钟

TiDB 核心组件 Binlog 正式开源

TiDB Binlog 组件用于收集 TiDB 的 binlog,并准实时同步给下游,如:TiDB/MySQL 等。该组件在功能上类似于 MySQL 的主从复制,会收集各个 TiDB 实例产生的 binlog,并按事务提交的时间排序,全局有序的将数据同步至下游。利用 TiDB Binlog 可以实现数据准实时同步到其他数据库,以及 TiDB 数据准实时的备份与恢复。TiDB Binlog 作为 TiDB 的核心组件之一,已经在上百家用户的生产环境中长时间稳定运行。


为方便用户和开发者更加深入理解和使用 TiDB Binlog 组件,以及基于 TiDB Binlog 组件做二次开发用于更多的业务场景, TiDB 团队决定于 2019 年 5 月 6 日正式开源 TiDB Binlog 组件。


TiDB Binlog 适用的功能场景:


  • 准实时数据同步:同步 TiDB 数据到其他数据库或消息队列(如 TiDB/MySQL/MariaDB/Kafka);

  • 准实时备份和恢复:增量备份 TiDB 集群数据到外部系统,利用备份的数据在系统故障或者其他场景时可将数据恢复到任意时间点。



TiDB Binlog 架构


TiDB Binlog 核心特性:


  • 支持类似 MySQL ROW 复制模式;

  • 准实时并按事务提交的时间顺序将数据同步至下游;

  • 分布式架构设计,支持水平弹性扩容和服务高可用;

  • 数据高可靠,系统实时将数据持久化到本地磁盘;

  • 支持多种输出方式,如下:

  • 文件:系统准实时将 binlog 写入文件系统作为增量备份,利用此增量备份文件可将数据恢复到任意时间点;

  • 消息队列:按照 binlog slave protocol 输出到 Kafka;

  • 下游目标数据库:TiDB/MySQL/MariaDB。


TiDB Binlog 代码及文档资源:



欢迎大家一起参与 TiDB Binlog 的设计、研发、测试共同推进 TiDB Binlog 走向更成熟,更稳定。近期 TiDB 团队将对外发布 TiDB Binlog 源码阅读指南,敬请期待。


2019-05-06 18:505363

评论

发布
暂无评论
发现更多内容

干货合集│最好用的 python 库都在这

Python 有趣的技术知识 6月月更

企业内部Wiki,你建立了么?

小炮

【Spring 学习笔记(八)】Spring IoC/DI注解开发 之 原始注解开发

倔强的牛角

Java spring Java EE 6月月更

手慢无!阿里P8架构师力荐Spring生态全家桶全彩笔记

Java全栈架构师

spring 编程 源码 程序员 面试

SDN特有的网络安全问题

穿过生命散发芬芳

SDN网络 6月月更

君可归烈士寻亲系统开发实战

乌龟哥哥

6月月更

亚马逊云科技向你发出召唤——游戏开发者,集合!

亚马逊云科技 (Amazon Web Services)

react.js edge postcss

什么是集群?为什么要使用集群架构?

Finovy Cloud

集群架构 云渲染 GPU服务器

10个常见触发IO瓶颈的高频业务场景

华为云开发者联盟

数据库 sql 索引 华为云 数据清理

每日一题——leecode59( 螺旋矩阵 II)

武师叔

6月月更

线程池

急需上岸的小谢

6月月更

音频 3A 处理实践,让你的应用更「动听」

融云 RongCloud

谁说Redis不能存大key

华为云开发者联盟

数据库 华为云

【资源分享】综合性的导航网站

小炮

【愚公系列】2022年06月 面向对象设计原则(四)-依赖倒置原则

愚公搬代码

6月月更

【LeetCode】最长连续序列Java题解

Albert

LeetCode 6月月更

华为云零代码开发图片压缩工具

乌龟哥哥

6月月更

【MySQL字符串数据类型优化】char和varchar的区别

写代码两年半

数据库 sql 6月月更

一、Kafka安装

星期35

react框架学习之深入研究【王道react】

恒山其若陋兮

6月月更

从源码解析flutter_redux 的精准局部刷新

岛上码农

flutter ios 安卓开发 跨平台应用 6月月更

身为程序猿——谷歌浏览器的这些骚操作你真的会吗

孤寒者

6月月更 浏览器操作 小技巧 程序猿必会

跟我学Python图像处理丨5种图像阈值化处理及算法对比

华为云开发者联盟

Python 人工智能 华为云

在线沙龙 | 开源小秀场——数据库技术应用实践

SelectDB

数据库 技术分享 apache doris 沙龙

直播预告 | 在阿里云 ESSD 云盘上部署 PolarDB for PostgreSQL 集群

阿里云数据库开源

数据库 postgresql 阿里云 开源

尽一份孝心,为家人做一个老人防摔报警系统

华为云开发者联盟

IoT 华为云 防摔倒报警系统

不止于观测|阿里云可观测技术峰会正式上线

阿里巴巴中间件

阿里云 云原生 可观测技术峰会

vue指令-5

小恺

6月月更

数据库每日一题---第7天:订单最多的客户

知心宝贝

数据库 程序员 前端 后端 6月月更

TiDB 核心组件 Binlog 正式开源_数据库_TiDB技术团队_InfoQ精选文章