写点什么

Yahoo 开源 Kafka 集群管理器 Kafka Manager

  • 2015-02-09
  • 本文字数:636 字

    阅读完需:约 2 分钟

作为一个分布式的消息发布 - 订阅系统, Apache Kafka 在 Yahoo 内部已经被很多团队所使用,例如媒体分析团队就将其应用到了实时分析流水线中,同时,Yahoo 整个 Kafka 集群处理的峰值带宽超过了 20Gbps(压缩数据)。为了让开发者和服务工程师能够更加简单地维护 Kafka 集群,Yahoo 构建了一个基于 Web 的管理工具,称为 Kafka Manager ,日前该项目已经在 GitHub 上开源

通过Kafka Manager 用户能够更容易地发现集群中哪些主题或者分区分布不均匀,同时能够管理多个集群,能够更容易地检查集群的状态,能够创建主题,执行首选的副本选择,能够基于集群当前的状态生成分区分配,并基于生成的分配执行分区的重分配,此外,Kafka Manager 还是一个非常好的可以快速查看集群状态的工具。

Kafka Manager 使用 Scala 语言编写,其 Web 控制台基于 Play Framework 实现,除此之外,Yahoo 还迁移了一些 Apache Kafka 的帮助程序以便能够与 Apache Curator 框架一起工作。

安装 Kafka Manager 需要 Kafka 0.8.1.1 或者 0.8.2-beta、sbt 0.13.x 以及 Java 7+,同时还必须要配置一个 zookeeper 的主机用来管理 Kafka Manager 的状态。如果想要了解更多与安装配置相关的信息,可以点击这里。另外,在HackerNews 上还有一些有关于该开源项目的讨论,感兴趣的读者不妨查看这里


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2015-02-09 00:0810996
用户头像

发布了 321 篇内容, 共 112.3 次阅读, 收获喜欢 17 次。

关注

评论

发布
暂无评论
发现更多内容

websocket简析

六维

websocket 4月日更

Ansible 命令行工具

耳东@Erdong

4月日更

悲观锁与乐观锁的实现(详情图解)

Java架构师迁哥

中国脑科学的十年行旅

脑极体

视频录制后有噪音怎么办?教你简答几步去除视频噪音!

奈奈的杂社

redis常见应用场景

Sakura

4月日更

架构实战营模块二作业

刁寿钧

架构实战营

Python OOP-1

若尘

面向对象 oop 面向对象编程 Python编程

一个码砖的码农,在InfoQ写一年博客,出书了?

小傅哥

Java 设计模式 小傅哥 架构设计 码农出书

GitHub开源:4行代码实现《黑客帝国》数字雨特效

不脱发的程序猿

GitHub 开源 程序人生 4月日更 黑客帝国

10 亿数据量只需要 100MB 内存,Redis 的位存储为什么这么牛?

Java小咖秀

redis 原理 位运算 bit 高级特性

流程引擎介绍

上海派拉基础研发

流程

使用CrossOver安装第三方软件

懒得勤快

rrxjava原理,手持4个大厂offer的我,吊打面试官系列!

欢喜学安卓

android 程序员 面试 移动开发

泉州有了一个水务大脑,用AI守护“绿水青山”

百度大脑

AI

谈谈 WebRTC 的 SDP Unified Plan

拍乐云Pano

WebRTC

Flutter Slidable 列表侧滑菜单 列表侧滑删除

早起的年轻人

flutter

NumPy之:数据类型

程序那些事

Python 数据分析 Numpy 程序那些事

自从有了他,再也没有担心过环境部署~

MY

部署与维护

算法题目解析:从一道题目看动态规划

程序员架构进阶

算法 动态规划 28天写作 4月日更

网络协议学习笔记Day1

穿过生命散发芬芳

网络协议 4月日更

聪明人的训练(二十三)

Changing Lin

4月日更

架构训练营——作业 2

架构实战营

你不一定全知道的四种Python装饰器实现详解

老猿Python

Python 编程语言 装饰器 程序开发

阿里开发7年大牛:只需一篇文章吃透Android多线程技术,好文推荐

欢喜学安卓

android 程序员 面试 移动开发

编曲新手可以用什么编曲软件?

奈奈的杂社

一周信创舆情观察(4.12~4.18)

统小信uos

线程的故事:我的3位母亲成就了优秀的我!

王磊

Java 线程 多线程

王霸雄图荣华敝屣,谈笑间尽归尘土|基于Python3双队列数据结构搭建股票/外汇交易匹配撮合系统

刘悦的技术博客

数据结构 算法 Python3 匹配 股票系统

不要给自己留后路

小天同学

人生 个人感悟 成功 4月日更

LeetCode题解:641. 设计循环双端队列,使用数组,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

Yahoo开源Kafka集群管理器Kafka Manager_语言 & 开发_孙镜涛_InfoQ精选文章