NVIDIA 初创加速计划,免费加速您的创业启动 了解详情
写点什么

Kafka 迎来 1.0.0 版本,正式告别四位数版本号

  • 2017-11-01
  • 本文字数:807 字

    阅读完需:约 3 分钟

Kafka 从首次发布之日起,已经走过了七个年头。从最开始的大规模消息系统,发展成为功能完善的分布式流式处理平台,用于发布和订阅、存储及实时地处理大规模流数据。来自世界各地的数千家公司在使用 Kafka,包括三分之一的 500 强公司。Kafka 以稳健的步伐向前迈进,首先加入了复制功能和无边界的键值数据存储,接着推出了用于集成外部存储系统的 Connect API,后又推出了为实时应用和事件驱动应用提供原生流式处理能力的 Streams API,并于今年春季开始支持仅一次处理语义。如此广泛的应用和完备的功能以及如此悠久的历史,无一不在说明 Kafka 已经成为一款稳定的企业级产品。而更为激动人心的是,Kafka 现在正式迎来了 1.0.0 版本!

Kafka 1.0.0 发布的主要内容如下。

  • 0.10.0 版本里开始引入的 Streams API 在 1.0.0 版本里继续演进,改进了 builder API(KIP-120),新增了用于查看运行时活跃任务的 API(KIP-130)和用于聚合分区的 cogroup
    API(KIP-150)。增强的 print() 和 writeAsText() 方法让调试变得更容易(KIP-160)。其他更多信息可以参考 Streams 文档。
  • 改进了 Connect 的度量指标(KIP-196),新增了大量用于健康监测的度量指标(KIP-188),并提供了集群的 GloabalTopicCount 和 GlobalPartitionCount 度量指标(KIP-168)。
  • 支持 Java 9,实现更快的 TLS 和 CRC32C,加快了加密速度,降低了计算开销。
  • 调整了 SASL 认证模块的错误处理逻辑(KIP-152),原先的认证错误信息现在被清晰地记录到日志当中。
  • 更好地支持磁盘容错(KIP-112),更优雅地处理磁盘错误,单个 JBOD 上的磁盘错误不会导致整个集群崩溃。
  • 0.11.0 版本中引入的幂等性生产者需要将 max.in.flight.requests.per.connection 参数设置为 1,这对吞吐量造成了一定的限制。而在 1.0.0 版本里,这个参数最大可以被设置为 5(KAFKA-5949),极大提升了吞吐量范围。

关于新版本更多的变化可以查看发布说明,也可以下载源代码和二进制包( Scala 2.11 Scala 2.12 )。

2017-11-01 20:596922
用户头像

发布了 322 篇内容, 共 134.4 次阅读, 收获喜欢 144 次。

关注

评论

发布
暂无评论
发现更多内容

系统高可用原因分析&方案

Mars

架构师训练营第 11 周学习总结

菜青虫

架构师训练营第一周作业-命题作业

阿德儿

架构师训练营第一周作业-学习总结

阿德儿

LeetCode题解:264. 丑数 II,暴力法,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

SAML和OAuth2这两种SSO协议的区别

程序那些事

权限系统 OAuth2 程序那些事 SAML SSO

甲方日常 78

句子

工作 随笔杂谈 日常

架构师第一周总结

永不言弃

架构师训练营第十一周作业

丁乐洪

架構師訓練營 大作業二

ilake

架构师训练营第六周课后作业

万有引力

数据爬虫

RainGod

爬虫

分析了2020年3万多条的微博热搜,我看到了什么

CoderW

Python 程序人生 爬虫 后端 微博热搜

北极科考:我们为什么要在北极呆上一年?

脑极体

架构师训练营 1 期:大作业(一)

piercebn

架构师训练营第 1 期

[架构师训练营] 食堂就餐卡系统设计

Fango

架构师训练营 4 期

上地七街

潇潇雨歇

Spring 源码学习 12:registerBeanPostProcessors

程序员小航

Java spring 源码

第六周学习心得

cc

第十一周课后练习

晴空万里

第一周架构方法-周总结

潘涛

Week11总结

lggl

物联网基础知识整理及实战

garlic

物联网

第九周 作业1

Mr_No爱学习

食堂就餐卡系统设计

永不言弃

架构

第九周-学习总结

Mr_No爱学习

第六周命题作业

cc

架构师训练营第 11 周课后练习

菜青虫

指令重排序、内存屏障很难?看完这篇你就懂了!

Java鱼仔

Java 程序员 面试 JMM 指令重排序

架構師訓練營 大作業一

ilake

系统安全高可用总结

Mars

Kafka迎来1.0.0版本,正式告别四位数版本号_语言 & 开发_薛命灯_InfoQ精选文章