写点什么

TiDB 核心组件 Binlog 正式开源

  • 2019-05-06
  • 本文字数:735 字

    阅读完需:约 2 分钟

TiDB 核心组件 Binlog 正式开源

TiDB Binlog 组件用于收集 TiDB 的 binlog,并准实时同步给下游,如:TiDB/MySQL 等。该组件在功能上类似于 MySQL 的主从复制,会收集各个 TiDB 实例产生的 binlog,并按事务提交的时间排序,全局有序的将数据同步至下游。利用 TiDB Binlog 可以实现数据准实时同步到其他数据库,以及 TiDB 数据准实时的备份与恢复。TiDB Binlog 作为 TiDB 的核心组件之一,已经在上百家用户的生产环境中长时间稳定运行。


为方便用户和开发者更加深入理解和使用 TiDB Binlog 组件,以及基于 TiDB Binlog 组件做二次开发用于更多的业务场景, TiDB 团队决定于 2019 年 5 月 6 日正式开源 TiDB Binlog 组件。


TiDB Binlog 适用的功能场景:


  • 准实时数据同步:同步 TiDB 数据到其他数据库或消息队列(如 TiDB/MySQL/MariaDB/Kafka);

  • 准实时备份和恢复:增量备份 TiDB 集群数据到外部系统,利用备份的数据在系统故障或者其他场景时可将数据恢复到任意时间点。



TiDB Binlog 架构


TiDB Binlog 核心特性:


  • 支持类似 MySQL ROW 复制模式;

  • 准实时并按事务提交的时间顺序将数据同步至下游;

  • 分布式架构设计,支持水平弹性扩容和服务高可用;

  • 数据高可靠,系统实时将数据持久化到本地磁盘;

  • 支持多种输出方式,如下:

  • 文件:系统准实时将 binlog 写入文件系统作为增量备份,利用此增量备份文件可将数据恢复到任意时间点;

  • 消息队列:按照 binlog slave protocol 输出到 Kafka;

  • 下游目标数据库:TiDB/MySQL/MariaDB。


TiDB Binlog 代码及文档资源:



欢迎大家一起参与 TiDB Binlog 的设计、研发、测试共同推进 TiDB Binlog 走向更成熟,更稳定。近期 TiDB 团队将对外发布 TiDB Binlog 源码阅读指南,敬请期待。


2019-05-06 18:505360

评论

发布
暂无评论
发现更多内容

工作中常用的设计模式--策略模式

lpe234

Java 后端 设计模式 策略模式 spring-boot

MetaTown:一个可以自己构建数字资产的平台

华为云开发者联盟

区块链 华为云 12 月 PK 榜 数字资产平台

mysql优化之 performance Schema常用查询sql

@下一站

MySQL 优化 12月日更 12月月更

架构实战营 1-6 学生管理云平台实战随堂测验

西山薄凉

「架构实战营」

鸿蒙开发实例 | 可复用列表项的ListContainer

TiAmo

华为 华为云 12月月更

足球比赛中的数据科学

CnosDB

数据库 时序数据库 开源社区 CnosDB infra

极客时间 - 运维进阶训练营 - 第六周作业

dog_brother

理解DALL·E 2, Stable Diffusion和 Midjourney的工作原理

Baihai IDP

人工智能 AI 工具 AIGC 文转图

EasyRecovery2023不要钱的硬盘数据恢复工具

茶色酒

EasyRecovery EasyRecovery15 easyrecovery2023

LED透明屏在夜晚经济有怎样的发展机遇

Dylan

LED LED显示屏

架构实战营 1-5 学生管理系统实战随堂测验

西山薄凉

「架构实战营」

浅谈 Apache Flume 数据接入的实现原理以及问题分析处理方式

移动云大数据

flume

2023最新版EasyRecovery软件下载安装教程

茶色酒

EasyRecovery EasyRecovery15 easyrecovery2023

AngularJS进阶(二十四)AngularJS与单选框及多选框的双向动态绑定

No Silver Bullet

AngularJS 12月月更 单选 多选

会议报道 | 第二届百家医院单细胞中心联盟年度峰会圆满落幕

联营汇聚

4.如何做好架构设计

程序员小张

「架构实战营」

架构训练营模块1作业

附加信息

架构训练营

踩坑之旅:配置 ROS 环境

eng八戒

机器人 ROS 移动机器人 机器人开发

TDengine3.0:解决高基数问题的时序数据库设计思路

TDengine

数据库 tdengine 时序数据库

AngularJS进阶(二十五)requirejs + angular + angular-route 浅谈HTML5单页面架构

No Silver Bullet

AngularJS 12月月更 requirejs angular-route

企业如何应对开源软件供应链安全问题?

安势信息

开源 开源安全 软件供应链安全 开源安全与治理 清源CleanSource SCA

编码开发如何开展API安全实现

穿过生命散发芬芳

12月月更

架构实战营 - 微信业务架构图 & “学生管理系统”毕设架构设计

huiwen

架构实战营

CDH+Kylin三部曲之一:准备工作

程序员欣宸

大数据 kylin 12月月更

AngularJS进阶(二十二)实现时间选择插件

No Silver Bullet

AngularJS 12月月更 AngularJS时间插件

底层逻辑-理解Go语言的本质

面向加薪学习

golang go语言 源代码 golang 面试 Go源代码

CorelDRAW2023中文版专业矢量软件更新介绍

茶色酒

CorelDRAW 2022 CorelDraw2023 CorelDraw

火山引擎DataTester:一个爆款游戏产品,是如何用A/B测试打磨出来的?

字节跳动数据平台

大数据 游戏 AB testing实战 12 月 PK 榜

2022-12-04:给定一个由 ‘[‘ ,‘]‘,‘(‘,‘)’ 组成的字符串, 请问最少插入多少个括号就能使这个字符串的所有括号左右配对, 例如当前串是 “([[])“,那么插入一个‘]‘即可满足

福大大架构师每日一题

算法 rust 福大大

Python:灵活的开发环境

eng八戒

Python Python自动化办公

华为云低代码技术:让矿区管理“智变”,一览无遗

华为云开发者联盟

云计算 低代码 华为云 12 月 PK 榜

TiDB 核心组件 Binlog 正式开源_数据库_TiDB技术团队_InfoQ精选文章