红帽白皮书新鲜出炉!点击获取,让你的云战略更胜一筹! 了解详情
写点什么

【干货】Kafka 事务特性分析(上)

  • 2019-10-21
  • 本文字数:1888 字

    阅读完需:约 6 分钟

【干货】Kafka 事务特性分析(上)

特性背景

消息事务是指一系列的生产、消费操作可以要么都完成,要么都失败,类似数据库的事务。这个特性在 0.10.2 的版本是不支持的,从 0.11 版本开始才支持。华为云 DMS 率先提供 Kafka 1.1.0 的专享版服务,支持消息事务特性。


支持事务消息有什么作用?消息事务是实现分布式事务的一种方案,可以确保分布式场景下的数据最终一致性。例如最常用的转账场景,小王 转账到小明,实际操作是小王账户减去相应金额,小明的账户增加相应金额,在分库分表的前提下,2 个账户存储在不同的数据库中,这时需要分布式事务才能保证数据库一致性,单个数据库的事务无法保证跨库之间的原子性。如果小王账户先扣钱,再去发送消息到小明所在的数据库去通知增加钱,在没有事务消息的情况下,无论是先扣钱或者先发送通知增加钱,都会有数据不一致的问题,因为无法保证两者的原子性。而有了事务消息,可以保证发送通知与本地事务(扣钱)是一个原子操作,本地事务与发送通知可以同时成功或者同时失败,确保数据一致。


除了数据最终一致性外,还实现了消息 Exactly once 语义。所谓 Exactly once 语义是消息传递语义中最难实现的一种,包括 At most once:最多一次(不会重复,但是可能丢失数据); At least once:至少投递一次(不会丢失,但是会导致重复)和 Exactly once: 刚好一次(不丢不重),也即幂等性。Kafka 的幂等性可以保证生产只对一个分区实现 Exactl once 语义,需要多个分区也实现这个语义,还需要引入消息事务确保原子性。

分布式事务介绍

当前系统架构主流是分布式架构与微服务架构,在这种架构下数据源不是单一的数据库,业务逻辑往往需要在多个数据库中实现原子操作,单个数据库中的强大的本地事务无法保证多节点原子操作。 此时需要分布式事务来确保数据的一致性。目前使用较多的分布式事务解决方案有几种:

01 XA 事务:两阶段/三阶段提交

XA 是由 X/Open 组织提出的分布式事务的规范。XA 规范主要定义了(全局)事务管理器(Transaction Manager)和(局部)资源管理器(Resource Manager)之间的接口。XA 接口是双向的系统接口,在事务管理器(Transaction Manager)以及一个或多个资源管理器(Resource Manager)之间形成通信桥梁。实现 XA 事务的关键是两阶段和三阶段提交协议。


两阶段提交协议(Two-phase Commit,2PC)经常被用来实现分布式事务。一般分为协调器 C 和若干事务参与者 Si 两种角色,这里的事务参与者就是具体的数据库,协调器可以和事务参与者在一台机器上,如下图



二阶段提交协议主要包括由 2 个阶段:第一个阶段为准备阶段(prepare),第二阶段为提交阶段。准备阶段由事务协调者向事务参与者发送 prepare 消息,各个参与者处理本地事务但不提交,然后向事务协调者返回事务状态。 提交阶段根据准备阶段各参与者的执行请求,协调者确定事务是提交或者回滚,向各个参与者发送命令。


二阶段提交协议主要的问题是在提交执行过程中,所有的参与者都需要听从协调者的统一调度,期间处于阻塞状态而不能从事其他操作,这样效率及其低下。特别是当协调者发出提交通知到部分参与者后宕机,其他参与者就会阻塞。


针对二阶段提交存在的问题,三阶段提交协议在 prepare 与 commit 阶段之间增加一个 pre-commit 阶段。Prepare 阶段只询问参与者而不做事务,而在 pre-commit 阶段各个参与者才会执行本地事务但不提交。Commit 阶段就是直接提交。这样做可以避免二阶段当协调者迟迟没有发出 commit 或者 rollback 通知,参与者在超时后可以自行提交或者回滚,避免阻塞事务(这是因为经过了 prepare 阶段已经确认了各个参与者是可以执行的,最后第三阶段直接执行即可)。 三阶段提交也存在很多问题,也不能完全保证数据一致,完全一致需要用到 Paxos 算法。

02 TCC 补偿性事务解决方案

TCC 分别对应 Try、Confirm 和 Cancel 三种操作,含义如下:


  • Try:预留业务资源

  • Confirm:确认执行业务操作,执行事务

  • Cancel:取消执行业务操作


TCC 解决了跨应用业务操作的原子性问题,在诸如组合支付、账务拆分场景非常实用。TCC 实际上把数据库层的二阶段提交上提到了应用层来实现,对于数据库来说是一阶段提交,规避了数据库层的 2PC 性能低下问题。TCC 需要业务提供使用,开发复杂和成本高。

03 事务消息

基于消息中间件的事务消息来完成分布式事务。事务消息可以确保本地执行事务与消息发送是原子的:先发送一条消息到消息中间件,然后执行本地事务,当本地事务成功后再发送提交确认到消息中间件,然后这条消息才能被其他业务消费者所能感知,从而确保原子性。


本文转载自公众号中间件小哥(ID:huawei_kevin)。


原文链接:


https://mp.weixin.qq.com/s/wbEr6IWuSwbEg3Ut3ahVjw


2019-10-21 14:51985

评论

发布
暂无评论
发现更多内容

方寸之间,书写天地

小天同学

个人总结 4月日更 1 周年盛典 我和写作平台的故事 InfoQ 写作平台 1 周年

lombok编译报错:java: 找不到符号

印哥爱学习

IntelliJ IDEA lombok

重读《重构2》- 提取函数

顿晓

4月日更 提取函数

清理SpringBoot应用无用的metrics指标

远鹏

Java springboot metrics micrometer

逐行解读Spring- 没人比我更懂循环依赖

学Java关注我

Java 编程 架构 编程语言 技术宅

【基金系列】10年理财规划师经验分享:不想当韭菜就看一下这些内容

小Q

学习 基金会 理财 基金

更揽群碑荟一堂|靠谱点评

无量靠谱

Nginx源码编译安装与运行

马里奥

nginx 安装 笔记

Redis-Sentinel 深入浅出原理和实战

leonsh

redis redis sentinel

计算机原理学习笔记 Day3

穿过生命散发芬芳

计算机原理 4月日更

产品 0 期 - 第八周作业

vipyinzhiwei

变易世界,简易战略,不易华为

脑极体

模块 1 作业

流水亮

深度图解Redis Cluster原理

leonsh

redis Gossip redis cluster

二阶单位圆

山@支

绝了!阿里面试官跟我死磕MySQL,结果我却拿了个高薪offer

码农之家

Java 程序员 面试 MySQL 高可用 刷题笔记

手机自带的多功能百宝箱,没人用真的太可惜了。

彭宏豪95

iphone 效率 工具 苹果 4月日更

哭了!从腾讯辞职后找不到工作,投了20多家简历,却只面过一家

Java架构师迁哥

为什么我们的生活越来越快?

石云升

读书笔记 28天写作 4月日更

想靠接私活月入5W?建议根据这几个开源的SpringBoot项目(含小程序)模仿一下~

Java架构师迁哥

《采访融云CTO杨攀:融云七年发展史》(采访提纲)

后台技术汇

调查采访能力考核

荣耀,单刷苹果大boss

脑极体

Vue cli项目 修改运行命令和端口号

空城机

Vue 大前端 4月日更 vue cli

Rust:关于闭包的一点研究

Microwood

rust 闭包 closure

应用宝SDK接入记录

风翱

sdk 4月日更 应用宝

Java线程讲解,这次没有人学不会了吧!!!

霖~

第二周作业

Geek_2e7dd7

架构实战营

如何横扫大厂Offer?这份“1000道Java后端面试速成笔记”程序员(银四)必备

比伯

Java 程序员 程序人生 软件架构 java编程

Java入门第一课

ベ布小禅

4月日更

洛谷 || 混合牛奶 Mixing Milk(贪心算法)

Bob

算法 刷题 4月日更

年度盛会 | Atlassian Team 2021 全球大会重磅嘉宾介绍

Atlassian

Agile Zoom Atlassian Slack

【干货】Kafka 事务特性分析(上)_文化 & 方法_李浩_InfoQ精选文章