写点什么

Kafka 实战:如何把 Kafka 消息时延秒降 10 倍(上)

  • 2019 年 10 月 22 日
  • 本文字数:1728 字

    阅读完需:约 6 分钟

Kafka实战:如何把Kafka消息时延秒降10倍(上)

背景

国内某大型税务系统,业务应用分布式上云改造。


业务难题


如上图所示是模拟客户的业务网页构建的一个并发访问模型。用户在页面点击从而产生一个 HTTP 请求,这个请求发送到业务生产进程,就会启动一个投递线程(Deliver Thread)调用 Kafka 的 SDK 接口,并发送 3 条消息到 DMS(分布式消息服务),每条消息大小 3k,需要等待 3 条消息都被处理完成后才会返回请求响应⑧。当消息达到 DMS 后,业务消费进程调用 Kafka 的消费接口把消息取出来,然后将每条消息放到一个响应线程(Response Thread)中进行处理,响应线程处理完后,通过 HTTP 请求通知投递线程,投递线程收到响应后返回回复响应。


100 并发访问时延 500ms 未达成用户业务要求

客户提出了明确的要求:每 1 个两核的 ECS 要能够支撑并发访问量 100,每条消息端到端的时延范围是几十毫秒,即从生产者发送开始到接收到消费者响应的时间。客户实测在使用了 DMS 的 Kafka 队列后,并发访问量为 100 时时延高达到 500ms 左右,甚至出现达到秒级的时延,远未达到客户提出的业务诉求。相比较而言,客户在 Pod 区使用的是自己搭建的原生 Kafka,在并发访问量为 100 时测试到的时延大约只有 10~20ms 左右。那么问题来了,在并发访问量相同的条件下,DMS 的 Kafka 队列与 Pod 区自建的原生 Kafka 相比为什么时延会有这么大的差异呢?我们 DMS 的架构师 Mr. Peng 对这个时延难题进行了一系列分析后完美解决了这个客户难题,下面就让我们来看看他的心路历程。


难题剖析

根据模拟的客户业务模型,Mr. Peng 在华为云类生产环境上也构造了一个测试程序,同样模拟构造了 100 的并发访问量,通过测试发现,类生产环境上压测得到的时延平均时间在 60ms 左右。类生产上的时延数值跟客户在真实生产环境上测到的时延差距这么大,这是怎么回事呢?问题变得扑朔迷离起来。


Mr. Peng 当机立断,决定就在华为云现网上运行构造的测试程序,来看看到底是什么原因。同时,在客户的 ECS 服务器上,也部署了相同的测试程序,模拟构建了 100 的并发量,得到如下的时延结果对比表:



表 1 华为云现网与类生产环境时延对比表


从时延对比表的结果看来,Mr. Peng 发现,即使在相同的并发压力下,华为云现网的时延比类生产差很多。Mr. Peng 意识到,现在有 2 个问题需要分析:为什么华为云现网的时延会比类生产差?DMS 的 Kafka 队列时延比原生自建的 Kafka 队列时延表现差的问题怎么解决?


回归问题的本质,DMS Kafka 队列的时延到底是怎么产生的?可控的端到端时延具体分为哪些?Mr. Peng 给出了如下的计算公式:


总时延 = 入队时延 + 发送时延 + 写入时延 + 复制时延 + 拉取时延


让我们来依次了解一下,公式中的每一项都是指什么。


入队时延


消息进入 Kafka sdk 后,先进入到要发送分区的队列,完成消息打包后再发送,这一过程所用的时间。


发送时延


消息从生产者发送到服务端的时间。


写入时延


消息写入到 Kafka Leader 的时间。


复制时延


消费者只可以消费到高水位以下的消息(即被多个副本都保存的消息),所以消息从写入到 Kafka Leader,到所有副本都写入该消息直到上涨至高水位这段时间就是消息复制的时延。


拉取时延


消费者采用 pull 模式拉取数据,拉取过程所用的时间。


入队时延

现网是哪一部分的时延最大呢?通过我们的程序可以看到,入队列等待发送时延非常大,如下图:



即消息都等待在生产端的队列中,来不及发送!


我们再看其他时延分析,因为无法在现网测试,我们分别在类生产测试了相同压力的,测试其他各种时延如下↓


复制时延

以下是类生产环境测试的 1 并发下的



从日志上看,复制时延包括在 remoteTime 里面,当然这个时间也会包括生产者写入时延比较慢导致的,但是也从一定的程度反映复制时延也是提升性能时延的一个因素。


写入时延

因为用户使用的是高吞吐队列,写入都是异步落盘,我们从日志看到写入时延非常低,可以判断不是瓶颈。发送时延与拉取时延都是跟网络传输有关系,这个优化主要是通过调 TCP 的参数来决定的。具体的参数调优方法,请期待 Kafka 实战:如何把 Kafka 消息时延秒降 10 倍(下),小哥将为你详细讲解!想要轻松将 Kafka 消息时延秒降 10 倍,就用华为云 DMS!


本文转载自公众号中间件小哥(ID:huawei_kevin)。


原文链接:


https://mp.weixin.qq.com/s/fLN-ww9A7lN8qhb0lYdDqQ


2019 年 10 月 22 日 23:30708

评论

发布
暂无评论
发现更多内容

比特币的安全性到底有多高?

CECBC

比特币

彩色的线,数据的诗,你好——贵州鲲鹏!

脑极体

JDK 16 即将发布,新特性速览!

xcbeyond

Java 七日更

单点破局思维|技术人应知的创新思维模型(8)

Alan

个人成长 技术人应知的创新思维模型 七日更 28天写作

用大白话给你解释Zookeeper的选举机制

爱笑的架构师

zookeeper ZooKeeper原理 七日更

业务中台建设 - 配置化

孝鹏

中台 微服务 配置化开发

Nginx常见典型故障|Linux干货

赖猫

c++ nginx Linux

Shell简介

入门小站

Shell

FastAI:滴普技术荟:某工业产品内部结构尺寸图像测量和缺陷检测分析

AI 目标检测 图像处理 缺陷检测 图像检测

数据为墨,智能作笔:画一卷新姑苏繁华图

脑极体

《数据分析》PDF免费下载

计算机与AI

数据分析

TypeScript | 第三章:函数、泛型和枚举

梁龙先森

typescript 编程 大前端 七日更

世界之书:《禅与摩托车维修艺术》与发现良质

lidaobing

禅与摩托车维修艺术 28天写作

揭秘大流量场景下发布如丝般顺滑背后的原因

阿里巴巴中间件

阿里巴巴

语音助手中的复杂语义表达方法

DataFunTalk

AI nlp

关于昆明市政协、市统战部、民革昆明市委赴云南坤艮盈科技有限公司(商务部CECBC区块链专委会秘书处云南办事处)调研指导工作

CECBC

云南发展

假冒、诈骗、隐私安全,如何应对数字人民币的风险与挑战?

CECBC

货币

SQL优化最干货总结-MySQL「2020年终总结版」

Java架构师迁哥

Serverless 落地之痛怎么解?

阿里巴巴中间件

Serverless

代码零改动Serverless架构升级?这家在线编程教育企业是这么做的

阿里巴巴中间件

Python Serverless

职业规划

HQ数字卡

职业规划 七日更

低代码与零代码工具的这些特征,弥补了所有人和IT之间的差距!

J2PaaS低代码平台

程序员 互联网 开发者 软件开发 开发工具

“社恐”独处好去处:无人自习室,一个人的“世外桃源”

IoT云工坊

物联网 无人自习室 智能门禁 智能灯控 线上预约

[git使用技巧] git提交忽略不必要的文件或文件夹

xcbeyond

git 七日更

如何成为架构师?

xcbeyond

个人成长 架构师 七日更

使用 Helmfile 解放你的 Helm Chart

郭旭东

云原生 Helm

FastAI:滴普技术荟:基于机器视觉的典型多目标追踪算法应用实践

目标追踪 目标检测 追踪算法

FastAI:滴普技术荟:基于深度学习的云边一体化OLED屏缺陷自动光学检测技术

学习 缺陷检测 云边一体 自动光学检测

wildfly 21的domain配置

程序那些事

程序那些事 wildfly wildfly21 配置管理 domain模式

附PPT丨AWS基于数据湖构建云上的数据分析架构

dbaplus社群

数据湖 AWS

12张图带你彻底理解分布式事务!!

冰河

分布式事务 BASE理论 TCC ACID CAP理论

Kafka实战:如何把Kafka消息时延秒降10倍(上)_文化 & 方法_中间件小哥_InfoQ精选文章