写点什么

SRE 高延迟问题的罪魁祸首 System.gc()

  • 2019 年 8 月 25 日
  • 本文字数:2656 字

    阅读完需:约 9 分钟

SRE高延迟问题的罪魁祸首System.gc()

01 案例一:

某日,支付平台的开发人员找到 SRE,需要 SRE 帮助解决一个棘手的问题。他们发现一个调用第三方支付接口的应用里面,偶尔出现请求超时的情况。第三方平台保证他们的服务 99%10 秒内完成,算上网络传输时间,15 秒足够了,尽管支付平台设置的超时时间是 30 秒,但还是发生了超时的情况。


从最近一周日志的数据来看,大概每天出现 15~40 次超时问题。发生的时间也没有什么大致规律,有时同时出现 2~3 次,有时过 2 个小时才又出现一次。尽管客户只要重试几乎全部成功,并且这种请求错误出现的次数相对于总请求数比例极低,可这确实影响部分用户的支付体验。


出现的总数量虽相对不高,但影响用户体验的问题必须是大问题


支付平台的小伙伴先是和这个外部支付公司联系,根据我们提供的业务 ID,该公司确认他们那边都是很快完成了支付,不存在超时的现象


那么还有一个可能是中间的网络问题,网络先是通过我们的内网,然后是互联网,最后是他们的内网,这中间任何一步都有可能出现网络的抖动,导致我们的业务超时。


可是为什么又每天出现这么多次呢? 因为网络问题涉及外网,并没有那么容易查清楚,并且每天分布的时间点并没有什么规律,所以支付平台的小伙伴转而找到 SRE 寻求帮助。


SRE 拿到这个问题之后,也感觉很棘手。这种超时问题,我们一般分为三段:


首先是服务提供者,它的处理时间变长,直接导致超时,这个问题中第三方已经确认他们并没有超时。

其次是中间的网络传输,这个问题中我们又跨越 3 段网络:我们的内网,互联网和服务提供商的网络。任何一段出问题,都会导致问题超时,并且这里面有很多是我们很难拿到数据去诊断的。

再次是服务客户端,我们的代码里面偶尔也会出现使程序变慢的地方,但这也是我们最不容易去怀疑的地方,因为它是我们自己写的代码。


鉴于每天出现的数量和网络的不确定性,SRE 决定先排除我们这端代码的问题。这个应用有几十台服务器分布在三个数据中心,每个数据中心的服务器都出现过这种超时问题。平时这个业务都是在 5 秒左右完成,但发生超时的时候等待 30 秒都无法完成。


SRE 先是找到一个具体的错误日志,然后观察了那台服务器的各种监控指标,发现那台服务器的 GC 开销在出错的时间点左右有明显增高,初步怀疑是 GC 导致的变慢


继而查看当时的 verbose GC 日志,确认那个时间点确实有 Full GC 发生,并且 Full GC 时间超过 30 秒。不过发生的时间点上堆内存和永久代内存都有足够空闲,于是怀疑是 System.gc()导致的问题


又查看其它几个出错的例子,发现一样的问题。查看更长时间的 verbose GC 日志,发现这种 Full GC 对于每一台机器都是每隔 24 小时出现一次。与服务启动成功时间对比,发现第一次发生的时间点正是服务刚启动之后的时间点,之后每天这个时间点再来一次。


开发人员搜索并确认了他们的代码中并没有明确的 System.gc()调用,所以只能怀疑某个依赖库中存在这个调用。虽然确认的过程稍显复杂,但是在 JVM 启动参数中添加-XX:+DisableExplicitGC 后终于彻底解决了这个问题


02 案例二:

某日,监控平台上突然跳出一个新的报警,一个应用的 CPU 使用率突然达到了 60%以上。SRE 查看这个应用的历史记录,发现之前它的 CPU 使用率基本在 5%以下。智能的云监控平台已经检测到这个问题,并且已经尝试通过替换新机器的方式帮它去修复了。


SRE 并没有发现这个应用最近有什么新的代码部署,也没有发现最近有新的请求 URL 进入。联系开发人员,他们说可能上游最近有变动,发过来的请求内部有不同的参数,导致可能走不同的代码路径。


查看这个应用的监控指标数据,发现这个应用的 GC 开销明显提高,是 GC 导致 JVM CPU 开销增加。于是 SRE 查看了它的 verbose GC 日志,具体如图 1 所示:



图 1(点击可查看大图)


我们看到堆空间有大量空闲,却频繁地在做 Full GC。从图 2 的原始日志可以看到,永久代也有大量空闲内存。



图 2(点击可查看大图)


于是我们通过 jstat 命令查看了做 Full GC 的原因:



图 3(点击可查看大图)


原来也是 System.gc()方法导致的。也就是说新的代码路径里面有 System.gc()的调用。和上面的问题一样,加上**-XX:+DisableExplicitGC 参数**后就修复了这个问题。


03 如何排查及修复

上面两个案例都是有人在代码中明确调用 System.gc()导致的问题,并且都通过添加 JVM 启动参数-XX:+DisableExplicitGC 得以解决


那么如果真的想要从代码层面修复这个问题,怎么才能找到这段代码呢?


通常,如果这个调用发生在我们可控的源代码里,基本通过全文搜索或者借助 IDE 里面的方法调用查询,都能找到。


如果这个 System.gc()调用在某个依赖包里面,如何才能找出来呢,这经常是比较麻烦的一步。这里介绍两个方法:


  1. 如果这个应用可以本地调试,只要开启调试(debug)模式,然后在 System.gc()方法上设置断点,那么一旦运行到这一步,调试视图就会立马告诉你。

  2. 使用 FindBugs 工具,它能分析工程里面的源代码和依赖包,通过 DM_GC 这个规则就能查找出调用点。具体见图 4:



图 4(点击可查看大图)


04 System.gc()存在的必要性

System.gc()方法一旦被调用并被执行,它将是一次 Full GC。Full GC 对于绝大多数 Hotspot JVM 实现里面已有的 GC 算法而言,将是一次相对比较长的全局停顿(stop-the-world)


在一些对时延要求比较高的服务上,这将造成一定程度的不能满足 SLA。甚至可能在瞬间因为客户端的超时,带来更多不必要的重试请求。正常情况下,JVM 都有自适应算法去判断什么时候需要做一次 GC,并且尽力避免 Full GC,所以大多数情况下,不需要编程人员调用 System.gc()方法


这并非说这个方法没有用处,在以下场景,这个方法能带来一些有益的效果:


1. 服务启动并初始化完成,在没有提供服务之前调用 System.gc()。这样可以回收掉启动过程中一些未来没必要存在的对象,大幅提高可用堆的数量,并且把一些对象从年轻代直接移到了老年代,不再需要经过多次在 Survival 空间来回移动才最终移到老年代。

2. 在做 heap dump 之前。这样回收掉一些已经没有被引用的对象,减少 heap 中没必要分析的对象。

3. 微观测试(microbenchmark)之前。减小由于测试当中可能出现 GC 过程引起的测试结果不正确。


05 总结

System.gc()作为 Java 提供的一个方法,在如今 JVM 已经很智能的情况下,大多数时候已经不再需要我们明确去调用它。一旦发生了延迟较长的情况,可以把这个方法的调用作为一个怀疑的对象。通过一些具体的方法能够找到调用的点并且修复这个问题。


本文转载自公众号 eBay 技术荟(ID:eBayTechRecruiting)


原文链接


https://mp.weixin.qq.com/s/Ivtfu4bH5vVd0KiAOonoCA


2019 年 8 月 25 日 08:007626

评论

发布
暂无评论
发现更多内容

如何处理工作与生活之间的冲突?

石云升

28天写作 职场经验 12月日更

漏洞检测方法如何选?详解源代码与二进制SCA检测原理

华为云开发者社区

安全 漏洞 软件成分分析 源代码SCA检测 二进制SCA检测

浪潮云跻身中国政务大数据管理平台市场领导者位置

浪潮云

云计算 云计算运维

1-3聚合架构第四讲:工程方法的进步也不容易

钰湚—付晓岩

企业架构 软件工程 数字化转型 软件架构 业务架构

低代码实现探索(四)前端组件核心模型

零道云-混合式低代码平台

【架构实战营】模块六

Henry | 衣谷

架构实战营

低代码实现探索(三)后台模型执行设计

零道云-混合式低代码平台

数字人民币对人民币国际化的长远影响

CECBC

1-2聚合架构第三讲:从包饺子看工程与架构

钰湚—付晓岩

企业架构 软件工程 数字化转型 软件架构 业务架构

实用机器学习笔记六:数据清理

打工人!

机器学习 算法 学习笔记 12月日更 实用机器学习

聚合架构第一讲:开篇啦

钰湚—付晓岩

企业架构 软件工程 数字化转型 软件架构 业务架构

架构训练营-模块一作业

zhongwy

架构实战营

华为云数据库GaussDB(for Influx)揭秘第二期:解密GaussDB(for Influx)的数据压缩

华为云开发者社区

数据库 时序数据库 GaussDB(for Influx) 时序数据 数据压缩

低代码实现探索(五)前端组件图形化脚本

零道云-混合式低代码平台

震惊!大势已来!!区块链的真正价值是什么?

CECBC

基于云的技术架构设计实践 - 第3篇

hackstoic

签约计划第二季 业务安全

7个连环问揭开java多线程背后的弯弯绕

华为云开发者社区

Java 多线程 工作内存 主内存

架构实战营:模块一作业

Geek_93ffb0

「架构实战营」

安全第二话

张老蔫

28天写作

青藤:一招制敌!微隔离,让勒索软件不再横行

青藤云安全

TypeScript 之模板字面量类型

冴羽

JavaScript typescript 翻译 大前端

如何建成有效的前端效能度量体系

benyasin

大前端 研发效能 研发度量 研发提效

普普通通的Route

Time-sun

flutter

你看到什么是因为要你看到什么

mtfelix

28天写作

1-1聚合架构第二讲:企业架构的认知历程

钰湚—付晓岩

企业架构 软件工程 数字化转型 软件架构 业务架构

如何对Android 11进行网络状态监听

Changing Lin

12月日更

焱融 YRCloudFile 连获两项重量级认证,展现强劲存储实力!

焱融科技

云计算 分布式 云原生 高性能 文件存储

选课排课软件原生开发选课排课小程序模式源码开发

风行无疆

拆分电商系统为微服务

Beyond Ryan

谈谈创业感想

wood

创业 28天写作

区块链等技术将为中欧跨境电商带来革新以及助力城市产业转型升级

CECBC

SRE高延迟问题的罪魁祸首System.gc()_语言 & 开发_eBay技术荟_InfoQ精选文章