火热报名中 | 洞察 AI 领域前沿动态,尽在11月30日 深圳 WAVE SUMMIT! 了解详情
写点什么

以小见大,从 Kafka Monitor 源码解读看如何做好黑盒监控

  • 2019-08-23
  • 本文字数:2608 字

    阅读完需:约 9 分钟

以小见大,从Kafka Monitor源码解读看如何做好黑盒监控

众所周知,监控分为黑盒和白盒监控,黑盒监控是通过模拟外部用户对其可见的系统功能进行监控的一种监控方式。作为监控的重要一环,黑盒监控提供了让系统或者服务在发生故障时能够快速通知相关人员的能力。


通常情况下白盒监控的数据来自服务或系统自身(例如 CPU 负载、堆栈信息、连接数······),所以易于采集。而相对而言,黑盒监控的数据通常来自系统和服务外部,需要我们自己开发相关功能监控模块来完成采集。那么,黑盒监控如何做?如何才能在及时发现服务故障的同时不会引起其它问题?


本文将分享京东云在 Kafka 黑盒监控方面的一些实践经验,其中着重对 Kafka Monitor 监控逻辑的部分代码进行解读,以便大家能够对其优秀的设计有一个更为深入的了解。然后再结合我们在其它服务中的黑盒监控实践,来试图回答上面提出的问题。


Kafka Monitor 介绍

Kafka Monitor 是由 Linkedin 开源的一款非常优秀的针对 Kafka 的黑盒监控软件。它通过模拟客户端行为,生产和消费数据并采集消息的延迟、错误率和重复率等性能和可用性指标,来达到黑盒监控的目的。


Kafka 的主要概念

在介绍 Kafka Monitor 功能监控之前,我们先了解下 Kafka 的几个主要概念:


  • Broker:Kafka 集群包含一个或多个服务器,这种服务器被称为 broker

  • Topic:每条发布到 Kafka 集群的消息都有一个类别,这个类别被称为 Topic。物理上不同 Topic 的消息分开存储,逻辑上一个 Topic 的消息虽然保存于一个或多个 broker 上,但用户只需指定消息的 Topic 即可生产或消费数据而不必关心数据存于何处

  • Partition:Partition 是物理上的概念,每个 Topic 包含一个或多个 Partition

  • Producer:消息生产者,负责发布消息到 Kafka broker 的客户端

  • Consumer:消息消费者,读取 Kafka broker 消息的客户端

  • Consumer Group:消费者组,每个 Consumer 属于一个特定的 Consumer Group



图 1 Kafka 架构图


Kafka Monitor 模块组成

1.kafka Monitor 由以下五个服务组成


  • Jetty Service:提供用于 Web UI 展示的 HTTP 服务

  • Jolokia Service:提供 JMX 的 HTTP 接口

  • Produce Service: 生产者服务,汇报生产速率和生产可用性

  • Consumer Service: 消费者服务,汇报消费速率和可用性、消息的延迟、丢失率和重复率

  • Metrics Service:接受 Produce Service 和 Consumer Service 汇报的监控指标


2.各服务之间的结构图如下



图 2 Kafka monitor 结构图


监控工作流程及代码解读

1.Producer Service 启动后以一定的时间为周期(配置项:produce.record.delay.ms,默认值:100ms)生产数据。


需要注意的是,Producer Service 会为每个 Partition 启动一个单独的生产任务,目的是为了让每个周期内生产的数据能够覆盖到所有 Partition 上。



图 3 Producer Service 代码解读


  1. 每条消息由以下内容组成:


  • 消息序列号,用于在消费时检查消息是否丢失或重复

  • 时间戳,用于计算消息从生产到消费的时延

  • 消息的大小,用于指定序列化后的数据大小(配置项:produce.record.size.byte,默认值:100 byte)

  • Topic 和 Producer ID,用于确保消费到的数据是来自同一 Topic 和 Producer


每条消息序列化后提交到 Kafka 的指定 Topic 上,然后通过_sensors 对象汇报失败或成功状态



图 4 Producer Service 代码解读 2


3.Consumer Service 从指定 Topic 消费读取消息,每条消息经过反序列化和校验后,计算出消息的延迟、错误或重复等监控指标,通过_sensors 对象汇报到 Metrics Service。



图 5 Consumer Service 代码解读


Kakfa Monitor 优势总结

1.通过为每个 Partition 启动单独的生产任务,确保监控覆盖所有 Partition。


这里需要注意的一点是:Kafka Monitor 仅能够保证监控覆盖所有 Partition,但不能保证覆盖所有 Broker。所以,为保证监控覆盖所有 Broker,利用 Kafka 对 Partition 在 Broker 的均衡分配原则,我们需要为 Kafka Monitor 的 Topic 配置与 Broker 相同(或整数倍)数量的 Partition。


2.在生产的消息中包含了时间戳、序列号,Kafka Monitor 可以依据这些数据对消息的延迟、丢失率和重复率进行统计。


3.通过设定消息生成的频率,来达到控制流量的目的。


4.生产的消息在序列化时指定为一个可配置的大小,这样做的好处有:


  • 便于通过可配置的消息长度来验证 Kafka 对不同大小数据的处理能力

  • 相同的消息大小可以减少 Kafka 对因每次处理不同大小数据的性能不均带来的监控误差


5.通过设定单独的 Topic 和 Producer ID 来操作 Kafka 集群,可避免污染线上数据,做到一定程度上的数据隔离。


如何做黑盒监控

通过上面的内容,相信大家对 Kafka Monitor 的黑盒监控实现方式有了一定认识。结合我们在做黑盒监控工作实践中遇到的问题,大致总结出黑盒监控需要注意的事项以及一些建议:


监控指标的采集

黑盒监控所采集的监控指标主要有两大类:性能和可用性,这两类监控项的采集可参考以下建议:


  • 在读写类操作中,通过在消息体中携带 Timestamp 进行延时监控

  • 使用固定字符串进行语义正确性的监控,避免仅仅针对返回的状态码来判断


样本覆盖率

黑盒监控的采集样本应尽可能覆盖所有节点,以便能够及时发现因节点宕机引起的故障。样本覆盖率应该是可以采集并可量化的。在实践中,我们建议在监控样本的请求中携带特定的可在服务端节点上识别的标签(可以是特定的源 IP、用户名、请求头等等),这样便于统计样本覆盖率。


必要的流控

黑盒监控不是压力测试,应该避免过高的流量对线上服务产生冲击。必要时,流控的设定需要结合节点覆盖率和功能覆盖率两个指标进行。例如,我们在 Zookeeper 的黑盒监控实践中,考虑到 Zookeeper 的读写逻辑不同,承受的压力上限也不同,所以我们需要分别对读和写两个功能设定不同的监控样本数,这样就能够让两种功能的监控样本既能满足样本覆盖率,又不会对线上服务产生冲击。


数据隔离

受其特点决定,黑盒监控直接模拟用户行为对线上服务进行读写操作,所以必要的数据隔离是非常有必要的。具体的隔离方法需要视不同业务场景而定。例如,在 HDFS 的黑盒监控实践中,我们使用单独的与业务隔离的非特权账号,在指定的路径下读写数据。


功能覆盖率

黑盒监控应尽量覆盖所有(重要的)功能场景。此项需要我们对服务和线上使用场景有比较充分的了解。


超时处理

应对每个监控请求设定超时时间,避免因服务响应慢导致请求堆积而影响服务。


尽量简单

黑盒监控的实现逻辑应该在充分模拟外部用户行为的同时尽量简单,并减少对外部服务的依赖,这样可以降低因依赖方或监控本身的问题导致的监控数据异常。


文章转载自微信公众号京东云。


2019-08-23 11:467218

评论

发布
暂无评论
发现更多内容

LeetCode题解:111. 二叉树的最小深度,BFS,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

【CSS】CSS对大小写敏感吗?

德育处主任

28天写作

【Mysql-InnoDB系列】InnoDB架构

程序员架构进阶

MySQL 架构 innodb 28天写作

一次系统调用时间过长追踪完整教程案例

AI乔治

Java Linux 架构

如何使用Eclipse内存分析工具定位内存泄露

AI乔治

Java eclipse 架构

VUE项目性能优化实践——通过懒加载提升页面响应速度

葡萄城技术团队

Vue

数据中心“容灾”和“备份”的区别

从七日更,到28天写作挑战,我无法拒绝的原因

梁龙先森

大前端 编程语言 28天写作

CSS09 - 文本&背景属性

Mr.Cactus

html/css

如果你听说过 Elastic Certified Engineer

escray

七日更 28天写作 死磕Elasticsearch 60天通过Elastic认证考试

新思科技网络安全研究中心发现Bouncy Castle中的漏洞

InfoQ_434670063458

新思科技 Bouncy Castle

文档驱动开发模式在 AIMS 中的应用与实践

华为云开发者联盟

Web 代码 API 文档

云算力矿机租赁挖矿APP系统开发|云算力矿机租赁挖矿软件开发

系统开发

ETL都没弄懂,谈什么大数据 ?我用一分钟给你整明白

智分析

ETL

还在手动写数据库文档吗?试试这个工具,划水干活儿两不误!

我爱娃哈哈😍

数据库 文档生成

要想软件“一想之美”,UI测试少不了

华为云开发者联盟

软件 测试 华为云

不愧是Alibaba技术官:程序员必会的架构知识清单,如何让你技术上的提升面试时的丰收

Java架构之路

Java 程序员 架构 面试 编程语言

如何使用Eclipse内存分析工具定位内存泄露

Java老k

Java 内存泄露

代码也能“杀”虫:此虫,真虫非Bug也

华为云开发者联盟

代码 华为云 modelarts

Hive的调优你都知道那些?

大数据老哥

大数据 hadoop hive

价值 - 价值的底色(一)

石云升

读书笔记 投资 28天写作 价值

甲方日常 82

句子

随笔杂谈

一个正确的编程思维

程序员吴师兄

28天写作

杜绝标题党,好的标题是成功的99%

xcbeyond

方法论 28天写作 写作技巧

开始的开始-可能是最早提交的28天写作活动作品

石君

28天写作

Spark HistoryServer日志解析&清理异常

笨小康

大数据 spark hdfs

边缘计算安全技术研究

华为云原生团队

云计算 大数据 云原生 边缘计算 华为云

volatile 关键字精讲

伯阳

Java volatile 后端 关键字 多线程与高并发

Java中定时器Timer致命缺点(附学习方法)

叫练

学习 定时任务 多线程 定时器 技术学习

甲方日常 81

句子

随笔杂谈

俯瞰Dubbo全局,阅读源码前必须掌握这些!!

冰河

架构 分布式 微服务 dubbo 服务治理

以小见大,从Kafka Monitor源码解读看如何做好黑盒监控_开源_京东云应用研发部_InfoQ精选文章