10月26号,了解如何7天上架一个语聊房应用 了解详情
写点什么

Apache Kafka 3.0 发布,离彻底去掉 ZooKeeper 更进一步

2021 年 9 月 24 日

Apache Kafka 3.0 发布,离彻底去掉ZooKeeper更进一步

Apache Kafka 3.0.0 正式发布,这是一个重要的版本更新,这次发布为 Kafka 彻底去掉ZooKeeper铺平了道路。

 

因此,在此背景下该版本中最突出的改进是 Kafka 的共识机制 KRaft 也就不足为奇了,该机制仍处于预览阶段。未来,KRaft 将作为 Apache Kafka 的内置共识机制将取代 Apache ZooKeeper,该版本目前提供了 KRaft 控制器和代理来为“名为 __cluster_metadata 的元数据主题分区生成、复制和加载快照”,也就是说这是 Kafka 集群存储、复制元数据的地方。

 

为了顺利切换到 KRaft,Kafka 团队重新设计了该工具的元数据记录类型,并让 Kafka Controller 负责在 ZooKeeper 和 KRaft 模式下生成生产者 ID。同时,从 3.0 开始,Kafka 生产者默认开启幂等性和所有副本的交付确认。

 

除此之外,Kafka 团队还尝试调整了当前的用例,这些用例以前很难实现。例如,监控任务通常会产生一些开销,因为无法为多个消费者组获取偏移量。这在 3.0 版的 OffsetFetch API 中得到了纠正。同时对 AdminClient.listOffsets 的改进将帮助用户测试分区的活跃度;它现在提供了查询选项,以返回分区中时间戳和具有最大时间戳的记录的偏移量。

 

Kafka Streams 的 TaskMetadata 接口提供了三种新方法来检查 commitedOffsets、endOffsets 和 timeCurrentIdlingStarted,这也有助于跟踪系统的健康状况。值得注意的增强功能还可以在数据集成中心 Kafka Connect 中找到,在 3.0 中,KIP-745 使用户能够通过一次调用重新启动所有或仅失败的连接器 Connector 和 Task 实例。

 

由于这是一个主要版本,还有一些更改可能会导致旧代码无法正常工作。其中包括弃用 Streams 中宽限期的 24 小时默认值,并用明确的新方法替换它们,这些方法要求用户要么将所述时间段设置为零,要么接受宽限期持续时间的自定义值。 

 

Kafka 团队也开始了一些清理工作,因此用户应该为即将到来的“警告”做好准备。3.0 版本中弃用对 Java 8 和 Scala 2.12 的支持,并且将在 v4.0 中完全删除。除此之外,维护者还决定弃用消息格式 v0 和 v1,将消息格式 v2 作为默认消息格式。之后只能通过转换实现 v0 和 v1 的数据向后兼容性,但这会影响性能,因此建议大家进行升级。

 

更多详细信息见Kafka的博客

2021 年 9 月 24 日 14:534161

评论

发布
暂无评论
发现更多内容

灰度再度增持!!!Filecoin可投资吗?Filecoin值得投资吗?

区块链 分布式存储 IPFS 投资filecoin filecoin值得投资吗

赶紧收藏!Java大牛熬夜一周肝出的《Spring AOP/IOC源码笔记》

程序员知识圈

Java 程序员 架构 面试 编程语言

运维工程师主要是做什么的?和网络工程师有啥区别?

行云管家

云计算 运维 网络 IT运维

浪潮云洲×明风机械:让工业“哑设备”发声

浪潮云

云计算

模型工厂,让AI算法触手可达 | StartDT Tech Lab 05

奇点云

性能优化之分页查询 | StartDT Tech Lab 12

奇点云

市值管理机器人特点简析,交易所刷交易量机器人搭建

量化系统19942438797

市值机器人 市值管理

华为云GaussDB(for Redis)发布全新版本,两大核心特性正式亮相

华为云数据库小助手

性能调优 GaussDB GaussDB ( for Redis ) 华为云数据库

DataMaleon组件化开发实践 | StartDT Tech Lab 14

奇点云

大数据安全验证之Kerberos | StartDT Tech Lab 11

奇点云

狂刷《Java权威面试指南(阿里版)》,冲击“金九银十”有望了

Java 编程 架构 面试 程序人生

数据仓库领域常见建模方法及实例演示 | StartDT Tech Lab 16

奇点云

京东T7架构师手写的10万字Spring Boot详细学习笔记+源码免费下载

程序员知识圈

Java 程序员 架构 面试 编程语言

TCP传输控制协议(二)

姬翔

9月日更

模块七作业

Clarke

2021年最新高频Java面试题:分布式+中间件+高并发+算法+数据库+设计模式

程序员小毕

Java spring 架构 面试 分布式

详解微信异步队列 MQ 2.0 的功能优化及拓展思路

OpenIM

浅谈单点登录SSO实现方案 | StartDT Tech Lab 06

奇点云

2021年最全Java面试汇总整理(含答案),再也不用担心面试被挂了

程序员知识圈

Java 程序员 架构 面试 编程语言

ipfs矿机挖矿原理是什么?ipfs矿机怎么搭建?

ipfs矿机挖矿原理是什么 ipfs矿机怎么搭建

Rust从0到1-完结

rust

如何优雅地设计DWS层? | StartDT Tech Lab 17

奇点云

分布式任务调度的应用分享 | StartDT Tech Lab 13

奇点云

浅谈元数据采集 | StartDT Tech Lab 10

奇点云

源码+实例!终于有字节大佬把内卷必问数据结构与算法题讲透了

程序员小毕

Java 数据结构 面试 算法 设计模式

SEO行业的困境:转型还是夹缝中求生存

石头IT视角

【数据库】数据库访问控制策略包含哪些?都一样吗?

行云管家

数据库 阿里云

一个不起眼却非常实用的功能介绍

森友小锘

前端 物联网 可视化 数字孪生

基于OLT(实体、关系、标签)建模方法论的最佳实践 | StartDT Tech Lab 08

奇点云

浅谈对象体系 | StartDT Tech Lab 07

奇点云

开源贡献分享:从网关内服务健康检查说起 | StartDT Tech Lab 09

奇点云

Apache Kafka 3.0 发布,离彻底去掉ZooKeeper更进一步-InfoQ