10 月 23 - 25 日,QCon 上海站即将召开,现在购票,享9折优惠 了解详情
写点什么

CPU 隔离:Nohz_full

  • 2022-04-06
  • 本文字数:1845 字

    阅读完需:约 6 分钟

CPU 隔离:Nohz_full

SUSE Labs 团队探索了 Kernel CPU 隔离及其核心组件之一:Full Dynticks(或 Nohz Full),并撰写了本系列文章:

 

1. CPU 隔离 – 简介

2. CPU 隔离 – Full Dynticks 深探

3. CPU 隔离 – Nohz_full

4. CPU 隔离 – 管理和权衡

5. CPU 隔离 – 实践

 

本文是第三篇。

NOHZ_FULL


“nohz_full=” 内核引导参数是当前用于配置 full dynticks 和 CPU 隔离的主接口。

 

CPU 列表参数传给 nohz_full 的作用是定义一组要隔离的 CPU。例如,假设您有 8 个 CPU,希望隔离 CPU 4、5、6、7:


nohz_full=4-7


关于 cpu-list 参数格式请参考:https://www.kernel.org/doc/html/latest/admin-guide/kernel-parameters.html#cpu-lists


nohz_full 的作用


当一个 CPU 包含在 nohz_full 引导参数的 CPU 列表中,内核会试图从那个 CPU 中排除尽可能多的内核干扰。本系列的第二篇文章已经从理论上解释了关闭计时器 Tick 的准备工作,这就是最终需要执行的操作:


定时器中断 


满足以下条件时,定时器可以停止:



残余的 1 Hz Tick(每秒钟中断)仍然存在,目的是为了维护调度程序内部统计。它以前在隔离的 CPU 上执行,但现在,这个事件使用一个未绑定的工作队列被卸载到 nohz_full 范围之外的 CPU。这意味着一个干净的设置可以在 CPU 上 100%无 Tick 运行。


定时器回调


未绑定定时器回调执行被移动到 nohz_full 范围之外的任何 CPU,因此,它们不会在错误的地方触发定时器 Tick。与此同时,被固定的定时器 Tick 不能转移到其他地方。我们稍后会探讨如何处理。


工作队列和其他内核线程


与定时器回调类似,未绑定的内核工作队列和 kthread 被移动到 nohz_full 范围之外的任何 CPU。但是,被固定的工作队列和 kthread 不能移动到其他地方。我们稍后会探讨如何处理。


RCU


大部分 RCU 处理任务都被卸载到隔离范围外的 CPU 上。CPU 设置为 nohz_full 在 NOCB 模式下运行(https://lwn.net/Articles/522262/),这意味着在这些 CPU 上排队的 RCU 回调是在非隔离的 CPU 上运行的未绑定 kthreads 中执行。不需要传递“rcu_nocbs=” 内核参数,因为这在传递“nohz_full=” 参数时自动处理。

 

CPU 也不需要通过 Tick 来积极报告静止状态,因为它在返回到用户空间时进入RCU扩展静止状态


Cputime 记账


将 CPU 切换到 full dynticks cputime 记账,这样它就不再依赖周期性事件。

其他隔离设置


尽管 nohz_full 是整个隔离设置的重要组成部分,但也需要考虑其他细节,其中重要的两项包括:

 

用户任务仿射


如果您想运行一个不被干扰的任务,一定不希望其他线程或进程与其共享 CPU。full dynticks 最终只在单个任务中运行,因此,需要:


  • 将每个隔离任务仿射到 nohz_full 范围内的一个 CPU。每个 CPU 必须只有一个隔离任务。

  • 将其他所有任务仿射到 nohz_full 范围之外。

 

有多种方式可以将您的任务仿射到一组 CPU 上,从底层系统调用 sched_setaffinity() (https://man7.org/linux/man-pages/man2/sched_setaffinity.2.html) ,到 taskset 等命令行工具(https://man7.org/linux/man-pages/man1/taskset.1.html)。另外也建议使用强大的 cgroup 接口,例如 cpusets (https://www.kernel.org/doc/html/latest/admin-guide/cgroup-v1/cpusets.html)


IRQ 仿射


硬件 IRQ(除计时器和其他特定的中断之外)可能会在任何 CPU 上运行,并打乱您的隔离集。产生的干扰可能不仅仅是占用 CPU 时间和破坏 CPU 缓存的中断,IRQ 可能会在 CPU 上启动进一步的异步工作:softirq、计时器、工作队列等。因此,将 IRQ 仿射到 nohz_full 范围之外的 CPU 通常是一个好想法。这种仿射可以通过文件而取消:

/proc/irq/$IRQ/smp_affinity

 

$IRQ 是向量号,更多细节可见内核文档:https://www.kernel.org/doc/Documentation/IRQ-affinity.txt

 

所有这些 CPU 隔离设置都涉及到一些陷阱和权衡,我们将在第四篇文章中探讨。

2022-04-06 11:073119

评论

发布
暂无评论
发现更多内容

鸿蒙车机管理开发:企业车队集中管理

yimapingchuan

鸿蒙开发实战:车机安全状态实时传送

yimapingchuan

鸿蒙开发实战:车机多设备协同安全

yimapingchuan

移动AI一周年,5G-A和AI究竟把世界变成什么样?

白洞计划

AI

澳鹏多模态标注工具:构建AI认知的语义桥梁

澳鹏Appen

多模态 多模态数据 多模态模型

鸿蒙车机开发实战:车载任务自动化编排

yimapingchuan

HarmonyOS开发实战:赋能车机多模态安全系统

yimapingchuan

HarmonyOS开发实战:车机安全认证体系

yimapingchuan

技术分享 | Prompt Caching:帮你大幅降本提速

伊克罗德信息科技

鸿蒙开发实战:车机安全系统智能联网

yimapingchuan

鸿蒙开发实战:优化车机安全系统性能

yimapingchuan

鸿蒙开发实战:车机远程安全通信

yimapingchuan

鸿蒙车机开发实战:车载多模态交互控制

yimapingchuan

鸿蒙开发实战:优化车机安全系统网络性能

yimapingchuan

泡泡玛特爆火,年轻人的新圈子里,AI+潮玩能否占有一席之地

腾讯云音视频

实时音视频 泡泡玛特 AI实时对话 AI玩具

鸿蒙开发笔记:Wallet Kit实现新闻付费会员无感支付

chengxujianke

我在618主场,和3位顶尖技术博士聊了聊

京东科技开发者

我在618主场,和3位顶尖技术博士聊了聊

京东科技开发者

【KWDB创作者计划】- KWDB:高性能时序数据库,赋能AIoT场景,引领时序数据库新纪元的高效引擎 - 新零售可回溯视屏时序数据系统最佳实践

KaiwuDB

ManageEngine卓豪简化变更管理的工作方法(四)

ServiceDesk_Plus

变更管理 ManageEngine卓豪

HarmonyOS开发实战:打造智能车机环境感知系统

yimapingchuan

鸿蒙车机开发实战:车载硬件深度管理

yimapingchuan

鸿蒙车机安全开发:保护企业级车辆数据.

yimapingchuan

HarmonyOS开发笔记:车机近场通信中的创新应用

yimapingchuan

鸿蒙开发实战:实现车机手写安全签名系统

yimapingchuan

裁员、量产搁置,特斯拉Optimus团队恐迎至暗时刻!

机器人头条

科技 特斯拉 人形机器人 具身智能 optimus

基于YOLOv8的学生课堂行为识别项目|完整源码数据集+PyQt5界面+完整训练流程+开箱即用!

申公豹

yolov8

鸿蒙开发实战:车机多服务智能协同

yimapingchuan

韧性驱动增长,全球经济发展中的中国动力

易观分析

GAITC2025|张科:端云一体大模型推理应用实战

京东科技开发者

加锁失效,非锁之过,加之错也

京东科技开发者

CPU 隔离:Nohz_full_硬件_Frederic Weisbecker_InfoQ精选文章