写点什么

为什么 K8s 需要 Volcano?

  • 2019-11-20
  • 本文字数:2090 字

    阅读完需:约 7 分钟

为什么K8s需要Volcano?

Volcano 是基于 Kubernetes 的批处理系统,源自于华为云开源出来的。Volcano 方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。


为什么 K8s 需要 Volcano

K8s 自带的的资源调度器,有一个明显的特点是:依次调度每个容器。但在 AI 训练或者大数据,这种必须多个容器同时配合执行的情况下,容器依次调度是无法满足需要的,因为这些计算任务包含的容器们想要的是,要么同时都成功,要么就都别执行。


比如,某个大数据应用需要跑 1 个 Driver 容器+10 个 Executor 容器(对应 AI 训练的话,就是 1 个 PS 容器+10 个 Worker 容器)。如果容器是一个一个的调度,假设在启动最后一个 executor 容器(对应 AI 是 Worker 容器)时,由于资源不足而调度失败无法启动,那么前面的 9 个 executor 容器虽然运行着,其实也是浪费的。


AI 训练也是一样的道理,必须所有的 Worker 同时运行,才能进行训练,坏一个,其他的容器就等于白跑。而 GPU 被容器霸占着却不能开始计算,成本是非常高的。


所以当你的(1)总体资源需求<集群资源的时候,普通的 K8s 自带调度器可以跑,没问题。但是当(2)总体资源需求>集群资源的时候,K8s 自带调度器会因为随机依次调度容器,使得部分容器无法调度,从而导致业务占着资源又不能开始计算,死锁着浪费资源。那么场景(1)和场景(2)谁说常态呢?不用说,肯定是(2)了,谁能大方到一直让集群空着呢对吧。这种情况就必须需要增强型的 K8s 资源调度器 Volcano 了。

资源调度领域

当用户向 K8s 申请容器所需的计算资源(如 CPU、Memory、GPU 等)时,调度器负责挑选出满足各项规格要求的节点来部署这些容器。通常,满足各项要求的节点并非唯一,且水位(节点已有负载)各不相同,不同的分配方式最终得到的分配率存在差异,因此,调度器的一项核心任务就是以最终资源利用率最优的目标从众多候选机器中挑出最合适的节点。


除了资源维度上的要求,实际调度中还有容灾和干扰隔离上的考虑:比如同一应用的容器不允许全部部署到同一台节点上,很多应用会要求每台节点上只允许有一个实例。另外,某些应用组件之间还存在互斥关系(如资源争抢),严重影响应用的性能,因此也不允许它们被部署到同一台节点上。这些限制条件的引入,使得想新写一款调度器,能替代原生 K8s 调度器并不容易。

算法分析

Volcano 首先要解决的问题就是 Gang Scheduling 的问题,即一组容器要么都成功,要么都别调度。这是最基本的用来解决资源死锁的问题,可以很好提高集群资源利用率(在高业务负载时)。


除此之外,它还提供了多种调度算法,例如 priority 优先级,DRF(dominant resource fairness), binpack 等。 我们今天就是挖一挖 Volcano 内部的各种调度算法实现。


3.1 Gang Scheduling


这种调度算法,首先是有’组’的概念,调度结果成功与否,只关注整一’组’容器。


具体算法是,先遍历各个容器组(代码里面称为 Job),然后模拟调度这一组容器中的每个容器(代码里面称为 Task)。最后判断这一组容器可调度容器数是否大于最小能接受底限,可以的话就真的往节点调度(代码里面称为 Bind 节点)。



3.2 DRF(dominant resource fairness)


这种调度算法,主要是 Yarn 和 Mesos 都有,而 K8s 没有,需要补齐。概括而言,DRF 意为:“谁要的资源少,谁的优先级高”。这样可以满足更多的作业,不会因为一个胖业务,饿死大批小业务。注意:这个算法选的也是容器组(比如一次 AI 训练,或一次大数据计算)。



3.3 binpack


这种调度算法,目标很简单:尽量先把已有节点填满(尽量不往空白节点投)。具体实现上,binpack 就是给各个可以投递的节点打分:“假如放在当前节点后,谁更满,谁的分数就高”。因为这样就能尽量将应用负载靠拢至部分节点,非常有利于 K8s 集群节点的自动扩缩容功能。注意:这个算法是针对单个容器的。



3.4 proportion(Queue 队列)


Queue 功能是 Yarn 调度器有的功能,K8s 需要补齐。不过我对 Queue 这个取名有些不太满意。因为它实际是用来控制集群总资源分配比例的。比如某厂有 2 个团队,共享一个计算资源池。管理员设置:A 团队最多使用总集群的 60%,B 团队最多使用总集群的 40%。投递的任务量,超过该团队的可用资源怎么办?那就排队等呗,所以特性取名 Queue。



3.5 最终权重


由于 Volcano 的调度算法插件实在太多,每个插件的决策又有可能互相干扰。所以为了在各个算法间做权衡,又给插件设置了权重,这样可以控制每种调度算法插件的影响因子。比如 NodeOrder 算法里面,就是在优选阶段(注:K8s 调度,分预选阶段和优选阶段。预选就是排除不符合的节点。优选就是给所有符合的节点打分)给节点打分的算法。各个算法有自己的权重可以配置。

Volcano

Volcano 项目的前身是 Kube-Batch,一个带着想解决 K8s 不支持 Gang Scheduling 问题初衷的项目。后来由于 AI 和大数据等业务领域也开始对 K8s 有述求,团队成员希望有一种喷薄而出的感觉,所以带上具体场景实践经验,重新将项目命名为 Volcano–火山,希望能够推动 K8s 在各个场景下向火山一样热烈绽放。


项目地址


添加小助手微信,加入【容器魔方】技术社群。



2019-11-20 19:134528

评论

发布
暂无评论
发现更多内容

简单好用一键恢复丢失办公文档

淋雨

EasyRecovery 文件恢复 免费恢复软件 硬盘数据恢复

文件保险箱——用区块链保护文件

趣链科技

区块链 区块链应用

详解Java中static关键字和final关键字的功能

华为云开发者联盟

Java static关键字 final关键字 静态变量

react源码解析18事件系统

全栈潇晨

React

Java进阶 | 泛型机制与反射原理

晨雨听风

Java

使用 VideoToolbox 探索低延迟视频编码 | WWDC 演讲实录

网易云信

低延时

Elastic Job简单使用

赵镇

Elastic-job

在线PS(PhotoShop),打开PSD文件,图像处理

入门小站

PhotoShop ps

分布式数据库在抖音春晚活动中的应用

火山引擎开发者社区

数据库 后端

有状态应用如何在Kubernetes平台上快速迁移和重建

焱融科技

云计算 Kubernetes 容器 云原生 高性能

Python——默认字典 (defaultdict)

在即

6月日更

软件开发项目中,产品经理和程序员谁更累?

万事ONES

产品经理 研发管理 ONES 项目经理

极狐GitLab致力打造DevSecOps 行业标准

极狐GitLab

ci 修复措施 安全扫描器 安全测试

GO database/sql 连接池源码分析

非晓为骁

源码分析 Go 语言 连接池 database

Linux之rmdir命令

入门小站

Linux

在线HTML标签清除工具

入门小站

工具

OpenCV-Python+Moviepy结合进行视频特效处理

老猿Python

Python 音视频 Video PPT 引航计划

软件复杂度

海拉鲁

读书笔记 软件工程 软件设计

容器化 | MySQL on K8s 开源开放的高可用容器编排方案

RadonDB

MySQL 容器 RadonDB KubeSphere

一次性搞清Java中的类加载问题

华为云开发者联盟

Java

Redis:我是如何与客户端进行通信的

码农参上

redis Redis 协议

JAVA 面向对象 (十)--接口和抽象类

加百利

Java 后端 笔记 6月日更

做好项目管理,项目经理需要具备哪些优秀品质?

万事ONES

项目管理 研发管理 研发管理工具 ONES

“AI赋能”大学计划落地,英特尔联合生态伙伴推进产教融合

E科讯

在云原生场景下构建企业级存储方案

青云技术社区

云原生

【21-15】PowerShell条件判断

耳东@Erdong

PowerShell 6月日更

迷惘的六月份

卢卡多多

生活状态 6月日更

技术干货 | macOS桌面端录屏采集实现教程

ZEGO即构

大前端 音视频 WebRTC 屏幕录制

网络抓包实战01——互联⽹:客户端请求是如何到达服务器的

青春不可负,生活不可欺

Wireshark TCP/IP tcpdump 网络抓包 tcpcopy

不管卷不卷,面试还是得问问你G1原理!

艾小仙

Java 编程 程序员

云小课|RDS实例连接又失败?看我祭出杀手锏!

华为云开发者联盟

数据库 关系型数据库 云数据库 RDS GaussDB(for MySQL)

为什么K8s需要Volcano?_架构_华为云原生团队_InfoQ精选文章