写点什么

浅谈 Cgroups

  • 2019-11-18
  • 本文字数:3239 字

    阅读完需:约 11 分钟

浅谈Cgroups

在开发一款软件时,为了延长软件的生命周期,需要一款配套软件来对发布的软件进行监控。随着容器技术的成熟,系统的定制和软件的打包变得越来越容易,同时,对容器进行监控成为了容器使用者所必备的技能。下来,作者将带领大家认识一下容器的资源管理工具 Cgroups。


说起容器监控,首先会想到通过 Cadvisor, Docker stats 等多种方式获取容器的监控数据,并同时会想到容器通过 Cgroups 实现对容器中的资源进行限制。但是这些数据来自哪里,并且如何计算的?答案是 Cgroups。最近在写 docker 容器监控组件,在深入 Cadvisor 和 Docker stats 源码发现数据都来源于 Cgroups。了解之余,并对 Cgroups 做下笔记。

1 Cgroups 介绍

Cgroups 是 control groups 的缩写,是 Linux 内核提供的一种可以限制,记录,隔离进程组(process groups)所使用物理资源的机制。最初有 google 工程师提出,后来被整合进 Linux 的内核。因此,Cgroups 为容器实现虚拟化提供了基本保证,是构建 Docker,LXC 等一系列虚拟化管理工具的基石。

2 Cgroups 作用

  • 资源限制(Resource limiting): Cgroups 可以对进程组使用的资源总额进行限制。如对特定的进程进行内存使用上限限制,当超出上限时,会触发 OOM。

  • 优先级分配(Prioritization): 通过分配的 CPU 时间片数量及硬盘 IO 带宽大小,实际上就相当于控制了进程运行的优先级。

  • 资源统计(Accounting): Cgroups 可以统计系统的资源使用量,如 CPU 使用时长、内存用量等等,这个功能非常适用于计费。

  • 进程控制(ControlCgroups): 可以对进程组执行挂起、恢复等操作。

3 Cgroups 组成

Cgroups 主要由 task,cgroup,subsystem 及 hierarchy 构成。下面分别介绍下各自的概念。


  • task: 在 Cgroups 中,task 就是系统的一个进程。

  • cgroup: Cgroups 中的资源控制都以 cgroup 为单位实现的。cgroup 表示按照某种资源控制标准划分而成的任务组,包含一个或多个子系统。一个任务可以加入某个 cgroup,也可以从某个 cgroup 迁移到另外一个 cgroup。

  • subsystem: Cgroups 中的 subsystem 就是一个资源调度控制器(Resource Controller)。比如 CPU 子系统可以控制 CPU 时间分配,内存子系统可以限制 cgroup 内存使用量。

  • hierarchy: hierarchy 由一系列 cgroup 以一个树状结构排列而成,每个 hierarchy 通过绑定对应的 subsystem 进行资源调度。hierarchy 中的 cgroup 节点可以包含零或多个子节点,子节点继承父节点的属性。整个系统可以有多个 hierarchy。

组件之间的关系

Subsystems, Hierarchies,Control Group 和 Tasks 之间有许多的规则,下面介绍下:


1、同一个 hierarchy 能够附加一个或多个 subsystem。


如下图,将 cpu 和 memory subsystems(或者任意多个 subsystems)附加到同一个 hierarchy。



2、一个 subsystem 只能附加到一个 hierarchy 上。


如下图,cpu subsystem 已经附加到了 hierarchy A,并且 memory subsystem 已经附加到了 hierarchy B。因此 cpusubsystem 不能在附加到 hierarchy B。



3、系统每次新建一个 hierarchy 时,该系统上的所有 task 默认构成了这个新建的 hierarchy 的初始化 cgroup,这个 cgroup 也称为 root cgroup。对于你创建的每个 hierarchy,task 只能存在于其中一个 cgroup 中,即一个 task 不能存在于同一个 hierarchy 的不同 cgroup 中,但是一个 task 可以存在在不同 hierarchy 中的多个 cgroup 中。如果操作时把一个 task 添加到同一个 hierarchy 中的另一个 cgroup 中,则会从第一个 cgroup 中移除。


如下图,cpu 和 memory 被附加到 cpu_mem_cg 的 hierarchy。而 net_cls 被附加到 net_cls hierarchy。并且 httpd 进程被同时加到了 cpu_mem_cg hierarchy 的 cg1 cgroup 中和 net hierarchy 的 cg3 cgroup 中。并通过两个 hierarchy 的 subsystem 分别对 httpd 进程进行 cpu,memory 及网络带宽的限制。



4、系统中的任何一个 task(Linux 中的进程)fork 自己创建一个子 task(子进程)时,子 task 会自动的继承父 task cgroup 的关系,在同一个 cgroup 中,但是子 task 可以根据需要移到其它不同的 cgroup 中。父子 task 之间是相互独立不依赖的。


如下图,httpd 进程在 cpu_and_mem hierarchy 的/cg1 cgroup 中并把 PID 4537 写到该 cgroup 的 tasks 中。之后 httpd(PID=4537)进程 fork 一个子进程 httpd(PID=4840)与其父进程在同一个 hierarchy 的统一个 cgroup 中,但是由于父 task 和子 task 之间的关系独立不依赖的,所以子 task 可以移到其它的 cgroup 中。


4 Cgroups 使用

我们直接使用 shell 命令直接操作 hierarchy 并设置 cgroup 参数。在 centos6 上也可以直接使用 libcgroup 提供的工具可简化对 cgroup 的使用。


Create a Hierarchy

使用 shell 命令创建 hierarchy 并附加 subsystems 到该 hierarchy 上。 作为 root 为 hierarchy 创建一个 mount point。并且在 mount point 中包含 cgrou 的名字。



例如:



接下来使用 mount 命令去挂载 hierarchy 并附加一个或多个 subsystem 到该 hierarchy 上。



例如:



如果想在已有的 hierarchy 上 attch 或 detach subsystem,可以使用 remount 操作,例如我们想 detach 掉 memory subsystem。


Unmounting a Hierarchy

可以直接用 umount 命令来 unmount 一个已有的 Hierarchy:



例如:


Creating Control Groups

直接使用 shell 命令 mkdir 创建一个子 cgroup:



例如:


Setting Control Cgroup Parameters

在 group1 中使用 echo 命令插入 0-1 到 cpuset.cpus,来限制该 cgroup 中的 tasks 只能跑在 0 和 1 的 cpu core 上。如下:


Moving a Process to a Control Group

只要将想要限制的进程 PID,追加到想要的 cgroup 的 tasks 文件中就可以了。例如:将 PID=1701 的进程放到“/cgroup/cpu_and_mem/group1/”的 cgroup 中。


5 Subsystem 介绍

  • blkio: blkio 子系统控制并监控 cgroup 中的 task 对块设备的 I/O 的访问。如:限制访问及带宽等。

  • cpu: 主要限制进程的 cpu 使用率。

  • cpuacct: 可以统计 cgroup 中进程的 cpu 使用报告。

  • cpuset: 可以为 cgroup 中的进程分配独立的 cpu 和内存节点。

  • memory: 自动生成 cgroup 中 task 使用的内存资源报告,并对该 cgroup 的 task 进行内存使用限制。

  • devices: 可以控制进程能否访问某些设备。

  • net_cls: 使用等级标识符(clssid)标记网络数据包,可允许 Linux 流量控制程序(tc)识别从具体 cgroup 中生成的数据包。

  • freezer: 可以挂起或回复 cgroup 中的进程。

  • ns: 可以使不同 cgroup 中的进程使用不同的 namespace。

6 容器使用 Cgroups 进行资源限制

无论是使用 docker run 方式直接创建容器,还是通过各类容器编排工具(如:Kubernetes)创建容器,对于容器的限制本质都是通过 Cgroups。我们分别使用这两种方式来创建容器并观察 cgroups:


测试环境:


使用 docker run 方式创建容器

1、限制 CPU share,创建两个容器,则会在运行该容器宿主的/sys/fs/cgroup/cpu/docker/ 下分别创建两个子 cgroup,格式如下。



2、创建一个容器,并设置–cpu-shares 参数为:1024*10。



查看该容器 cgroup 的 cpu.shares 文件内容如下。



3、创建一个容器,并设置–cpu-shares 参数为: 1024*14。



查看该容器 cgroup 的 cpu.shares 文件内容如下。



4、两个容器使用 cpu 的 stats,一个容器分到 14 核的相对 cpu 计算时间,另一个容器分到 10 核的相对 cpu 计算时间:


限制容器内存使用量

1、创建一个容器,限制容器能使用的内存上限为 1024M。



2、查看容器 memory 的 stats,内存使用率 100%。



3、当容器使用的内存量超过 1024M,则容器会被 kill -9 掉。


使用 Kubenetes 容器编排工具创建容器

使用 kubernetes 编排工具创建的容器,则与容器关联的 cgroup 均在运行该容器宿主机的/sys/fs/cgroup/cpu/kubepods/下,具体的格式如下所示:



使用 Pod 创建一个容器,对应的 yaml 文件内容如下:



在运行该容器的宿主机上查看该容器的 cgroup 信息,会观察到 cpu.shares 为 1 核,memory.limit_in_bytes 为 2G。



本文转载自公众号 360 云计算(ID:hulktalk)。


原文链接:


https://mp.weixin.qq.com/s/3a5k3YA6ALri3BrQWQbOpw


2019-11-18 16:442052

评论

发布
暂无评论
发现更多内容

排名前 16 的 Java 工具类

Bruce Duan

java工具类

Spring / Spring boot 异步任务编程 WebAsyncTask

Bruce Duan

异步任务编程 WebAsyncTask

从“小众”到“首选”,推动云原生产业落地华为云作用几何?

华为云开发者联盟

云计算 架构 容器

从红黑树的本质出发,彻底理解红黑树!

996小迁

Java 架构 面试 程序人生

【涂鸦物联网足迹】涂鸦云平台标准指令集说明

IoT云工坊

人工智能 cpu 物联网 智能家居 指令集

快速理解二十三种设计模式(速记)

simon

设计模式 23种设计模式 Java设计模式

完美!阿里P8仅用242页笔记,就由浅入深讲解了SQL概念

Java~~~

Java sql 阿里巴巴 SQL语法 sql查询

五面进军饿了么!复盘总结11月上半月大厂面试真题,押题命中率高达95%以上

Java架构追梦

Java 阿里巴巴 架构 面试

MySQL全面瓦解—子查询和组合查询

比伯

Java 编程 程序员 架构 计算机

Java反射说得透彻一些

秦怀杂货店

Java 反射 java反射

下笔如有神:这是一个基于营销行业的 AI 技术实践

京东科技开发者

人工智能 自然语言处理 nlp

成年人的世界都不容易-看看做到年薪50万的程序员,到底有多累?

Java架构师迁哥

遥感影像处理有高招,“专治”各类花式并发的述求!

华为云开发者联盟

容器 k8s 遥感

HTTP2服务器推送的第一次尝试

Gopher指北

HTTP2.0 Go 语言

普渡科技荣登甲子光年“2020中国最具商业潜力的20家机器人Cool Vendor”

DT极客

刷Github时发现了一本阿里大神的算法笔记!标星70.5K

Java架构师迁哥

关于linux操作系统中的buff/cache

程序员架构进阶

Linux cache buffer

多线程问的太深入不知道怎么回答,从volatile开始给你讲清楚

小Q

Java 学习 面试 volatile 多线程

SQL数据库:子查询和关联子查询

正向成长

SQL子查询 SQL关联查询

你以为只是简单的排序?(二)

书旅

数据结构与算法 Go 语言

亿级大表分库分表实战总结(万字干货,实战复盘)

比伯

Java 编程 程序员 架构 计算机

anyRTC AI降噪|让声音更清晰

anyRTC开发者

人工智能 AI 音视频 WebRTC RTC

React Fiber 是什么?

局外人

react.js 大前端 React

在Android中使用DataBinding(Kotlin)

simon

android Android进阶 JetPack DataBinding 数据绑定

影响王兴的一本书

池建强

读书笔记 无限游戏 王兴

python+requests对app和微信小程序进行接口测试

测试人生路

Python 接口测试

拒招中国程序员后,开源平台 GitLab 又开始大规模封杀开发者账户

Java架构师迁哥

你还在使用迭代器删除集合数据,out了,Java 中函数removeIf 不香么

Geek_6f0746

Java JAVA集合 Java迭代器

权威报告发布:京东智联云首次参评即跻身机器学习卓越表现者阵营

京东科技开发者

人工智能 云计算 供应链

Spring Boot 监听 Redis Key 失效事件实现定时任务

Bruce Duan

Redis监听 监听过期键

背后技术:双11还能创造什么?

人工智能 数据挖掘 大数据 科技

浅谈Cgroups_文化 & 方法_王希刚_InfoQ精选文章