“AI 技术+人才”如何成为企业增长新引擎?戳此了解>>> 了解详情
写点什么

Kafka 3.3 使用 KRaft 共识协议替代 ZooKeeper

作者: Andrea Messetti

  • 2022-11-11
    北京
  • 本文字数:877 字

    阅读完需:约 3 分钟

Kafka 3.3使用KRaft共识协议替代ZooKeeper

Apache 软件基金会发布了包含许多新特性和改进的 Kafka 3.3.1。这是第一个标志着可以在生产环境中使用KRaft(Kafka Raft)共识协议的版本。在几年的开发过程中,它先是在 Kafka 2.8 早期访问版本中发布,然后又在 Kafka 3.0 预览版本中发布。


KRaft 是一种共识协议,可以直接在 Kafka 中管理元数据。元数据的管理被整合到了Kafka当中,而不需要使用像ZooKeeper这样的第三方工具,这大大简化了 Kafka 的架构。这种新的 KRaft 模式提高了分区的可伸缩性和弹性,同时简化了 Kafka 的部署,现在可以不依赖 ZooKeeper 单独部署 Kafka 了。


KRaft 使用了Raft共识算法的一种基于事件的变体,因此得名。



随 KRaft 引入的新的仲裁控制器确保元数据在整个仲裁中可以被准确复制。活动控制器将元数据存储在事件源日志主题中,仲裁中的其他控制器对活动控制器创建的事件做出响应。事件日志定期进行快照,确保日志不会无限增长。与基于 ZooKeeper 的控制器不同,如果出现了问题,仲裁控制器不需要从 ZooKeeper 加载状态,因为集群的内部状态已经分布在元数据主题中。这大大减少了不可用时间窗口,缩短了系统最坏情况恢复时间。


下图显示了使用新的仲裁控制器比使用 ZooKeeper 更快地关闭具有 200 万个分区的 Kafka 集群。



新的 KRaft 共识算法和仲裁控制器使得 Kafka 集群可以扩展到数百万个分区,不仅提升了稳定性,让 Kafka 变得更容易监控、管理和支持,而且让整个系统可以有一个单一的安全模型,使控制器故障转移接近瞬时。


Kafka 社区计划在下一个版本(3.4)中弃用 ZooKeeper,然后在 4.0 版本中完全删除它。


此外,Kafka 3.3 还提供了其他一些新特性,比如添加了与元数据日志处理错误相关的指标,允许用户为其他用户创建委托令牌,以及严格统一的粘性分区器,以缩短分区时间。


对于 Kafka Streams,这个版本增加了源/接收器指标,如消费/生产吞吐量、暂停/恢复拓扑,并集成了 KStream transform()和 process()方法。Kafka Connect 增加了对源连接器的精确一次语义支持。


原文链接

https://www.infoq.com/news/2022/10/apache-kafka-kraft/


相关阅读:

使用 Strimzi 将 Kafka 和 Debezium 迁移到 Kubernetes

Flink 读写多套 Kerberos 认证的 Kafka 方案


2022-11-11 09:2110349

评论

发布
暂无评论
发现更多内容

云算力挖矿系统开发app,矿机租赁交易平台搭建

v16629866266

谁能拯救终将凋落的头发「幻想短篇 21/28」

道伟

28天写作

批判性思维自修课(三)

石君

28天写作 批判性思维

低代码:Microsoft Power Platform

lidaobing

低代码 28天写作 Power Platform

【JS】预编译

德育处主任

JavaScript 大前端 js 28天写作

创始人去世,股权怎么办?|视频号28天(21)

赵新龙

28天写作

LiteOS调测利器:backtrace函数原理知多少

华为云开发者联盟

架构 内存 函数 LiteOS backtrace

Serverless Kubernetes:理想,现实与未来

阿里巴巴云原生

Serverless 容器 运维 云原生 k8s

扎根CNCF社区贡献五年是怎样的体验?听听华为云原生开源团队的负责人怎么说

华为云开发者联盟

容器 Volcano cncf kubeedge 代码开发

音视频传输协议众多, 5G时代不同业务应该如何选择?

华为云开发者联盟

5G 音视频 直播 流媒体

Java 创建线程有哪些方式

武哥聊编程

Java 多线程 28天写作

大数据知识专栏 - MapReduce 的自定义分组求TopN

小马哥

大数据 hadoop mapreduce 七日更

凝聚人心并不难,小诀窍让团队跟你一条心

一笑

管理 激励 28天写作

微服务转型系列1:农商行数字化转型的烦恼

BoCloud博云

微服务 银行数字化转型 API 服务治理

HTTPS实现原理

架构精进之路

https 七日更 28天写作

重温亮剑-感悟

superman

对机器视觉领域的几点看法

JiangX

机器视觉 28天写作

冲突域和广播域区别,集线器、交换机和路由器对比

西少爷肉夹馍的股权纠纷 | 视频号28天(22)

赵新龙

28天写作

“大禹针”在北江大堤上线,浪潮助力广东水利新基建落地

浪潮云

新基建

折腾CUDA环境,搭建TF2开发环境

IT蜗壳-Tango

七日更

大数据丨ClickHouse在京东能源管理平台的实践

京东科技开发者

数据库 大数据

阿里巴巴管理三板斧

Ian哥

28天写作

我的算法学习之路

熊斌

学习方法 算法 28天写作

机器学习·笔记之:Cost Function - Intuition II

Nydia

网站自动化任务脚本

Kylin

七日更

企业级低代码平台的选型和建设思考

李小腾

如何查看github评价

Albert

GitHub

创业失败启示录|老老王上的人生第一课

阿萌

28天写作 创业失败启示录 青城

碎碎念之「程序员的时间都花在了哪?」

Justin

设计原则 代码规范 28天写作 技术债

个人隐私后续

张老蔫

28天写作

Kafka 3.3使用KRaft共识协议替代ZooKeeper_架构_InfoQ精选文章