写点什么

一个 GO 语言性能问题的发现和解决

2019 年 11 月 11 日

一个GO语言性能问题的发现和解决

1 事件起因

事情起因于公司一位同事在内部邮件组中 post 了一个问题,一个使用了 go1.8.3 写的业务程序跑了一段时间后出现部分 goroutine 卡在等待一个锁 ForkLock 的现象,同事认为这是 go1.8.3 的 bug,升级到 go1.10 后没有再重现。为了搞清楚这个事情,同事在 github 上发了issue,期间也做了很多重现的尝试,但并未重现。


我浏览了一下出现该问题的业务代码,大概的使用方式是父进程调用 os/exec 下的 Command 开子进程执行 shell 命令。Command 后面会调用 golang 封装的 forkExec 来开子进程并执行命令,forkExec 使用了 ForkLock。


2 问题分析

ForkLock 的存在是为了避免下面的情况:在有多个 goroutine 同时 fork exec 的情况下, 为了子进程只继承它需要的文件描述符,需要在父进程在创建这些文件描述符的时候加上 O_CLOEXEC 标志,这样在子进程中这些描述符是关闭的,子进程按需把自己需要继承的描述符打开即可。


Linux 在 2.6.27 之后,打开文件或者管道,和设置 O_CLOEXEC 是一个原子操作,因此问题不大,但 golang 对内核版本的要求是 2.6.23 及以上,另外 Unix 系统中,open 和设置 O_CLOEXEC 是两个操作,如果在两个操作之间发生 fork, 子进程就可能继承它不需要的文件描述符,因此需要加锁。重点看下 forkExec 时候的源代码:



从问题的现象看,肯定是某 goroutine 在 forkExecPipe 或者 forkAndExecInChild 这两步卡住了,锁没释放,因此有些 goroutine 一直拿不到锁,饥饿致死。forkExecPipe 最后调用的是内核 pipe2,forkAndExecInChild 最后调用的是内核 clone 和 exec。


3 原因猜测

pipe2 是一个快速系统调用,因此可能 block 的系统调用是 clone 和 exec, 加上在 go1.10 上这个问题没有重现,对比 go1.8 代码和 go1.9 在 forkAndExecInChild 函数上的差异:


  • go1.8



  • go1.9



go1.9 增加了 CLONE_VFORK 和 CLONE_VM 。只带 SIGCHILD 的 clone 可以认为类似于 fork(最后都是调用 do_fork), fork 的问题是,在父进程占用内存越大性能越差,具体可以看这个链接


这个 case 2011 年提出,今年 7 月还在更新,这个 case 反馈的问题是,尽管 Linux kernel 引入 copy-on-write 机制,但 fork 的时候依然要拷贝页表,进程虚拟内存越大,需要拷贝的页表项越多,因此 fork 越慢。Golang 的讨论组有人测试过,heap size 在 2G 的情况下,fork 耗时可以到毫秒级别, 正常是及几十微秒,上千倍差距。


Go1.9 加上这两个参数是为了让子进程和父进程共享内存,相当于调用 vfork, 不需要拷贝页表, 加快创建速度,从测试效果看,稳定在几十微妙。



所以一个合理的猜测是,在低于 go1.9 版写的程序中,当程序内存占用足够大,而且创建进程频率足够频繁,会导致 ForkLock 长时间等待。


4 实验论证

我用 go1.8.3 写了一个测试程序,在 2 核 4G 的虚拟机(kernel 3.10.0-693.17.1.el7.x86_64)下测试。



在外部每隔 10 秒,给这个程序发 SIGUSR1 信号,打印运行时堆栈,运行一段时间后,部分 goroutine 获取 ForkLock 的时间越来越长。见下面两图:




而在 go1.9 及以上版本上并未出现上述情况,这个结果我觉得已经可以说明问题。升级版本到 go1.9 及以上版本可以解决该问题。


5 写在最后

vfork 是为了解决 fork 拷贝页表项导致的性能问题, 而且大部分场景 fork 之后是调用 exec,exec 要把所有页表删除重置新的页表, 实在没必要再拷贝页表项。但由于 vfork 父子进程共享内存,所以使用要很小心,如果子进程修改某个变量,会影响到父进程,而且 kernel 会挂起父进程,让子进程先执行,这些限制基本限制 vfork 只适合跟 exec 的场景,不如 fork 通用。


正因为 vfork 的使用需要小心,因此 go1.9 准备加入 vfork 发布之前,有人提出代码不够健壮,因为 rawVforkSyscall 返回之后,在父进程段还执行指令,这样子进程有机会破坏双方的共享栈,因此提了一个 commit 去让 rawVforkSyscall 在返回后,在父进程段什么都不做直接 return,解决这个互相影响,如图所示:



本文转载自公众号 UCloud 技术(ID:ucloud_tech)。


原文链接:


https://mp.weixin.qq.com/s/aQNGnhijsbKZ2cFplqAXDw


2019 年 11 月 11 日 17:29339

评论

发布
暂无评论
发现更多内容

产品经理训练营 - 第二章作业 (二)

joelhy

产品经理训练营

第三周作业

BlueSky

利益相关者排序

Geek_a32093

产品训练营第三章-第一节小结

skylar

产品经理训练营--第三章作业

Lucas zhou

产品经理训练营

最新Wordpress个人博客搭建教程:免费精美主题搭建个人博客

大佬sam

Wordpress 博客部署 2月春节不断更

第三章学习总结

Kasn

产品经理 产品经理训练营

第三次作业及总结

青葵

学习笔记

week13 数据应用(二)

杨斌

第三章作业

Kasn

产品经理 产品经理训练营

新浪微博利益相关方分析(相关方问题)

🙈🙈🙈

极客大学产品经理训练营

第三周

Jove

产品经理训练营第二章作业(二)

猫。

【作业-03】解决方案的设计与积累

西西里奇

产品经理训练营第三周作业

happy-黑皮

产品经理训练营

03- 抽奖小助手的那个「谁」

sting

第三次作业

z

图解Mysql索引的数据结构!看不懂你来找我

Java鱼仔

MySQL 数据库 Java 8

产品经理-第二周作业(2)

LLL777

创业失败启示录|8分钟,50万,欢乐收场

青城

28天写作 创业失败启示录 2月春节不断更

第二章:产品思维和产品意识(下) - 作业 - 为云 g

Weiyung

抽奖助手小程序 利益相关方排序及解决方案

Shine

产品

产品训练营-第三次作业

Geek_娴子

《未来科技趋势白皮书》概述解读

李忠良

28天写作

产品经理训练营-第三周作业

玖玖

第三周总结

Jove

管理笔记[5]:“态度”决定成败,是一切组织管理的前提

俊毅

week12 数据应用(一)

杨斌

关注产品的利益相关者,想想他们的问题,自己设定一些前提,做个简单的排序。

mas

「产品经理训练营」作业 03

🌟

产品经理 产品经理训练营 产品经理训练

机器学习笔记之:最熟悉的陌生阵

Nydia

一个GO语言性能问题的发现和解决-InfoQ