Go 调度程序:Ms,Ps&Gs

阅读数:70 2019 年 11 月 25 日 11:31

Go调度程序:Ms,Ps&Gs

1 基础

Go 运行时管理调度、垃圾收集和 goroutines 的运行时环境。在这里,我将只关注调度程序。

运行时调度器通过将它们映射到操作系统线程来运行 goroutines。Goroutines 是线程的轻量级版本,启动成本非常低。每一个 goroutine 都是由一个名为 G 的结构体描述的,它包含了跟踪其堆栈和当前状态所必需的字段。所以,G = goroutine。

运行时跟踪每个 G,并将它们映射到逻辑处理器上,命名为 P。P 可以被看作是一个抽象的资源或上下文,需要被获取,因此 OS 线程(称为 M 或机器)可以执行 G。你可以通过调用 runtime.GOMAXPROCS(numLogicalProcessors) 来控制运行时的逻辑处理器,如果你打算调整这个参数(或许不应该),设置一次并忘记它,因为它需要“停止一切”GC 暂停。

从本质上讲,操作系统运行线程,执行你的代码。Go 的诀窍是,编译器在不同的地方插入调用到 Go 运行时,例如通过通道发送一个值,对运行时包进行调用),这样就可以通知调度程序并采取行动。

Go调度程序:Ms,Ps&Gs

2 Ms,Ps&Gs 之间的舞蹈

Ms、Ps 和 Gs 之间的交互有点复杂。看一下这个工作流程图:

Go调度程序:Ms,Ps&Gs

在这里我们可以看到,对于 G 来说有两种类型的队列:在“schedt”结构中有一个全局队列(很少使用),并且每个 P 维护一个可运行的 G 队列。

为了执行一个 goroutine,M 需要保存上下文 P. 机器,然后弹出它的 goroutines,执行代码。

当你安排一个新的 goroutine(做一个 go func()调用)时,它被放置到 P 的队列中。这里有一个有趣的偷工调度算法,当 M 完成了某个 G 的执行,然后它试图从队列中取出另一个 G,它是空的,然后它随机地选择另一个 P 并试图从它中偷取一半的可运行的 G!

当你的 goroutine 做一个阻塞的系统调用时,会发生一些有趣的事情。阻塞系统调用将被拦截,如果要运行 Gs,运行时将从 P 中分离出线程并创建一个新的 OS 线程(如果空闲线程不存在的话)来服务该处理器。

当一个系统调用恢复时,goroutine 被放回一个本地运行队列,线程会自动放置(意味着线程不会运行),并将自己插入到空闲线程列表中。

如果 goroutine 进行网络调用,运行时也会执行类似的操作。这个调用将被拦截,但是因为 Go 有一个集成的网络轮询器,它有自己的线程,它将被分配给它。

如果当前的 goroutine 被阻塞,那么运行时将运行一个不同的 goroutine:

  • 阻塞系统调用(例如打开一个文件),
  • 网络输入,
  • 通道操作,
  • 同步包中的原语。

3 调度程序跟踪

Go 允许跟踪运行时调度程序。这是通过 GODEBUG 环境变量完成的:

复制代码
$ GODEBUG=scheddetail=1,schedtrace=1000 ./program

下面是它给出的输出示例:

复制代码
SCHED 0ms: gomaxprocs=8 idleprocs=7 threads=2 spinningthreads=0 idlethreads=0 runqueue=0 gcwaiting=0 nmidlelocked=0 stopwait=0 sysmonwait=0
P0: status=1 schedtick=0 syscalltick=0 m=0 runqsize=0 gfreecnt=0
P1: status=0 schedtick=0 syscalltick=0 m=-1 runqsize=0 gfreecnt=0
P2: status=0 schedtick=0 syscalltick=0 m=-1 runqsize=0 gfreecnt=0
P3: status=0 schedtick=0 syscalltick=0 m=-1 runqsize=0 gfreecnt=0
P4: status=0 schedtick=0 syscalltick=0 m=-1 runqsize=0 gfreecnt=0
P5: status=0 schedtick=0 syscalltick=0 m=-1 runqsize=0 gfreecnt=0
P6: status=0 schedtick=0 syscalltick=0 m=-1 runqsize=0 gfreecnt=0
P7: status=0 schedtick=0 syscalltick=0 m=-1 runqsize=0 gfreecnt=0
M1: p=-1 curg=-1 mallocing=0 throwing=0 preemptoff= locks=1 dying=0 helpgc=0 spinning=false blocked=false lockedg=-1
M0: p=0 curg=1 mallocing=0 throwing=0 preemptoff= locks=1 dying=0 helpgc=0 spinning=false blocked=false lockedg=1
G1: status=8() m=0 lockedm=0

注意,它使用了与 G、M 和 P 以及它们的状态相同的概念,比如 P 的队列大小。通常,你不需要那么多的细节,所以你可以使用:

复制代码
$ GODEBUG=schedtrace=1000 ./program

此外,还有一个名为 go tool trace 的高级工具,它有一个 UI,允许我们探索,程序运行时正在做什么。

总结

本次跟大家分享的知识点就是以上这些,不知道大家有没有理解呢,有任何问题都可以跟我们留言沟通。

本文转载自公众号 360 云计算(ID:hulktalk)。

原文链接:

https://mp.weixin.qq.com/s/wq-nirhGJ6Wm076gIN6FNw

评论

发布