写点什么

Kafka 3.3 使用 KRaft 共识协议替代 ZooKeeper

作者: Andrea Messetti

  • 2022-11-11
    北京
  • 本文字数:877 字

    阅读完需:约 3 分钟

Kafka 3.3使用KRaft共识协议替代ZooKeeper

Apache 软件基金会发布了包含许多新特性和改进的 Kafka 3.3.1。这是第一个标志着可以在生产环境中使用KRaft(Kafka Raft)共识协议的版本。在几年的开发过程中,它先是在 Kafka 2.8 早期访问版本中发布,然后又在 Kafka 3.0 预览版本中发布。


KRaft 是一种共识协议,可以直接在 Kafka 中管理元数据。元数据的管理被整合到了Kafka当中,而不需要使用像ZooKeeper这样的第三方工具,这大大简化了 Kafka 的架构。这种新的 KRaft 模式提高了分区的可伸缩性和弹性,同时简化了 Kafka 的部署,现在可以不依赖 ZooKeeper 单独部署 Kafka 了。


KRaft 使用了Raft共识算法的一种基于事件的变体,因此得名。



随 KRaft 引入的新的仲裁控制器确保元数据在整个仲裁中可以被准确复制。活动控制器将元数据存储在事件源日志主题中,仲裁中的其他控制器对活动控制器创建的事件做出响应。事件日志定期进行快照,确保日志不会无限增长。与基于 ZooKeeper 的控制器不同,如果出现了问题,仲裁控制器不需要从 ZooKeeper 加载状态,因为集群的内部状态已经分布在元数据主题中。这大大减少了不可用时间窗口,缩短了系统最坏情况恢复时间。


下图显示了使用新的仲裁控制器比使用 ZooKeeper 更快地关闭具有 200 万个分区的 Kafka 集群。



新的 KRaft 共识算法和仲裁控制器使得 Kafka 集群可以扩展到数百万个分区,不仅提升了稳定性,让 Kafka 变得更容易监控、管理和支持,而且让整个系统可以有一个单一的安全模型,使控制器故障转移接近瞬时。


Kafka 社区计划在下一个版本(3.4)中弃用 ZooKeeper,然后在 4.0 版本中完全删除它。


此外,Kafka 3.3 还提供了其他一些新特性,比如添加了与元数据日志处理错误相关的指标,允许用户为其他用户创建委托令牌,以及严格统一的粘性分区器,以缩短分区时间。


对于 Kafka Streams,这个版本增加了源/接收器指标,如消费/生产吞吐量、暂停/恢复拓扑,并集成了 KStream transform()和 process()方法。Kafka Connect 增加了对源连接器的精确一次语义支持。


原文链接

https://www.infoq.com/news/2022/10/apache-kafka-kraft/


相关阅读:

使用 Strimzi 将 Kafka 和 Debezium 迁移到 Kubernetes

Flink 读写多套 Kerberos 认证的 Kafka 方案


2022-11-11 09:2111218

评论

发布
暂无评论
发现更多内容

Go语言图书管理RESTful API开发实战

Jackpop

外包学生管理系统的架构文档

王大胖

聊聊 Kafka:Topic 创建流程与源码分析 | 社区征文

老周聊架构

云原生 Apache Pulsar 新春征文 2月月更

作业八-消息队列数据库建模

曾竞超

架构实战营 「架构实战营」

Lyft微服务研发效能提升实践 | 1. 开发和测试环境的历史

俞凡

研发效能 大厂实践 2月月更 lyft

Windows怎么就突然不好用了?

Jackpop

百度AI融通创新工坊招生中!

百度大脑

用Weave Net 打开跨主机容器互联大门 | 社区征文

L同学

docker网络 新春征文 网络交换机 weave 集群网络

浅谈人工智能发展六大趋势 | 社区征文

战场小包

人工智能 新春征文 2月月更

如何打造一款得心应手的VS Code?

Jackpop

基于飞桨实现的“太空保卫战士”——地球同步静止轨道空间目标检测系统

百度大脑

基于STM32设计的环境检测设备

DS小龙哥

2月月更 STM32环境检测仪

【网络安全应急响应】实战思路经验分享

H

网络安全 应急响应

办公效率起飞了!Python终于解放了我的双手

Jackpop

【C语言】初始字符串 & 转义字符与注释

謓泽

C语言 2月月更

跨平台应用开发进阶 (四) :uni-app 实现图片上传、预览、删除、压缩

No Silver Bullet

uni-app 跨平台 图片 2月月更

毕业设计

Geek_e6f7f6

架构实战营

如何利用区块链改进金融系统身份验证?

CECBC

大模型应用新范式:统一特征表示优化(UFO)

百度大脑

人才短缺、成本高昂,制造企业智能化转型路径如何破局?

百度大脑

阿里稳定性指标1-5-10解读

焦振清

稳定性 1-5-10 MTTR

PaddleDTX v1.0版本发布,安全性灵活性全面提升!

百度大脑

外包学生管理系统架构设计

唐尤华

架构实战营

零基础想学习Web安全,如何入门?

网络安全学海

黑客 网络安全 信息安全 渗透测试 漏洞

DG-IoT工业数据云平台

dgiot

物联网 2月月更 2月日更 dgiot dgiot物联网

2022年的元宇宙:抢人、烧钱、突破体验边界

CECBC

从冬奥看中国科技(五):漫天塞地物联网

脑极体

解密体育背后AI黑科技:花样滑冰动作识别、多模视频分类和精彩片段剪辑

百度大脑

Kafka 3.3使用KRaft共识协议替代ZooKeeper_架构_InfoQ精选文章