Yahoo 开源 Kafka 集群管理器 Kafka Manager

阅读数:10217 2015 年 2 月 9 日

话题:语言 & 开发架构

作为一个分布式的消息发布 - 订阅系统,Apache Kafka在 Yahoo 内部已经被很多团队所使用,例如媒体分析团队就将其应用到了实时分析流水线中,同时,Yahoo 整个 Kafka 集群处理的峰值带宽超过了 20Gbps(压缩数据)。为了让开发者和服务工程师能够更加简单地维护 Kafka 集群,Yahoo 构建了一个基于 Web 的管理工具,称为Kafka Manager,日前该项目已经在 GitHub 上开源

通过 Kafka Manager 用户能够更容易地发现集群中哪些主题或者分区分布不均匀,同时能够管理多个集群,能够更容易地检查集群的状态,能够创建主题,执行首选的副本选择,能够基于集群当前的状态生成分区分配,并基于生成的分配执行分区的重分配,此外,Kafka Manager 还是一个非常好的可以快速查看集群状态的工具。

Kafka Manager 使用 Scala 语言编写,其 Web 控制台基于 Play Framework 实现,除此之外,Yahoo 还迁移了一些 Apache Kafka 的帮助程序以便能够与 Apache Curator 框架一起工作。

安装 Kafka Manager 需要 Kafka 0.8.1.1 或者 0.8.2-beta、sbt 0.13.x 以及 Java 7+,同时还必须要配置一个 zookeeper 的主机用来管理 Kafka Manager 的状态。如果想要了解更多与安装配置相关的信息,可以点击这里。另外,在 HackerNews 上还有一些有关于该开源项目的讨论,感兴趣的读者不妨查看这里


感谢郭蕾对本文的审校。

给 InfoQ 中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ)或者腾讯微博(@InfoQ)关注我们,并与我们的编辑和其他读者朋友交流。