InfoQ Geekathon 大模型技术应用创新大赛 了解详情
写点什么

Yahoo 开源 Kafka 集群管理器 Kafka Manager

  • 2015-02-09
  • 本文字数:636 字

    阅读完需:约 2 分钟

作为一个分布式的消息发布 - 订阅系统, Apache Kafka 在 Yahoo 内部已经被很多团队所使用,例如媒体分析团队就将其应用到了实时分析流水线中,同时,Yahoo 整个 Kafka 集群处理的峰值带宽超过了 20Gbps(压缩数据)。为了让开发者和服务工程师能够更加简单地维护 Kafka 集群,Yahoo 构建了一个基于 Web 的管理工具,称为 Kafka Manager ,日前该项目已经在 GitHub 上开源

通过Kafka Manager 用户能够更容易地发现集群中哪些主题或者分区分布不均匀,同时能够管理多个集群,能够更容易地检查集群的状态,能够创建主题,执行首选的副本选择,能够基于集群当前的状态生成分区分配,并基于生成的分配执行分区的重分配,此外,Kafka Manager 还是一个非常好的可以快速查看集群状态的工具。

Kafka Manager 使用 Scala 语言编写,其 Web 控制台基于 Play Framework 实现,除此之外,Yahoo 还迁移了一些 Apache Kafka 的帮助程序以便能够与 Apache Curator 框架一起工作。

安装 Kafka Manager 需要 Kafka 0.8.1.1 或者 0.8.2-beta、sbt 0.13.x 以及 Java 7+,同时还必须要配置一个 zookeeper 的主机用来管理 Kafka Manager 的状态。如果想要了解更多与安装配置相关的信息,可以点击这里。另外,在HackerNews 上还有一些有关于该开源项目的讨论,感兴趣的读者不妨查看这里


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

活动推荐:

2023年9月3-5日,「QCon全球软件开发大会·北京站」 将在北京•富力万丽酒店举办。此次大会以「启航·AIGC软件工程变革」为主题,策划了大前端融合提效、大模型应用落地、面向 AI 的存储、AIGC 浪潮下的研发效能提升、LLMOps、异构算力、微服务架构治理、业务安全技术、构建未来软件的编程语言、FinOps 等近30个精彩专题。咨询购票可联系票务经理 18514549229(微信同手机号)。

2015-02-09 00:0811070
用户头像

发布了 321 篇内容, 共 113.9 次阅读, 收获喜欢 17 次。

关注

评论

发布
暂无评论
发现更多内容

哈希值游戏DAPP开发|区块链哈希值竞猜游戏开发

薇電13242772558

区块链 哈希值

对话核心开发者,波卡的EVM+最新技术分享活动回顾

One Block Community

区块链 Substrate EVM 波卡

模块2作业

KennyQ

Hoo虎符研究院|一图了解币圈后浪Magic Eden

区块链前沿News

虎符研究院

MariaDB 的自增字段 AUTO_INCREMENT 字段

HoneyMoose

Tomcat:应用加载原理分析

IT巅峰技术

Tomccat

Linux驱动开发-编写NEC红外线协议解码驱动

DS小龙哥

4月月更

Spring定义BeanDefinition

IT巅峰技术

crmeb Java 项目打包可运行jar文件详细教程

CRMEB

Substrate Builders Program | 了解波卡生态云计算平台与最先进的查询节点框架

One Block Community

区块链 Substrate 波卡

架构实战营 第 6 期 模块二课后作业

火钳刘明

#架构实战营 「架构实战营」

网络安全之红蓝对抗实战

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 漏洞挖掘

Java 在 IntelliJ IDEA 中提示 set the language level 9

HoneyMoose

从分层架构到微服务架构(五)之服务化架构

元闰子

架构 从分层架构到微服务架构

设置 Jupyter Notebook 主题

信号量

Python Jupyter Notebook notebook 主题 科学计算

Go 学习笔记——Only For

为自己带盐

Go 4月月更

CRMEB多商户后台前端代码打包并更新打包的代码到项目里面教程详解

CRMEB

C/C++程序员黄金方向-音视频基础知识和ffmpeg编译

玩转音视频技术

HLS SRS 音视频开发 流媒体开发 C/C++程序员

[Day9]-[动态规划]编辑距离

方勇(gopher)

LeetCode 动态规划 数据结构算法

自己动手写Docker系列 -- 5.3实现logs命令查看容器日志

golang Docker

音视频&流媒体的原理以及基础入门知识

玩转音视频技术

Linux SRS 音视频开发 流媒体开发

微服务分布式事务处理

俞凡

架构 微服务

Java 初始化 List 的几种方法

HoneyMoose

Go 实现 WebSockets:1.什么是 WebSockets

宇宙之一粟

Go 4月月更

LotusDB 设计与实现—1 基本概念

roseduan

Go 数据库 存储

架构师作业2

小虾米

架构师实战营

订单管理系统(OMS)搭建实战 - 低代码拖拽定制订单管理系统

蒋川

低代码 低代码开发 低代码平台 订单系统 订单管理系统

基于 HTML+CSS+JS 的纸牌记忆游戏

海拥(haiyong.site)

html 游戏 4月月更

前端食堂技术周刊第 32 期:2022 年 3 月 TC39 会议、Rome Formatter、Node 内置 Test Runner

童欧巴

JavaScript 程序员 前端 web前端

关于数据湖几个问题详细剖析

五分钟学大数据

数据湖 4月月更

手写实现分布式锁

Linux服务器开发

分布式锁 协程 定时器 后端开发 Linux服务器开发

  • 扫码添加小助手
    领取最新资料包
Yahoo开源Kafka集群管理器Kafka Manager_语言 & 开发_孙镜涛_InfoQ精选文章