写点什么

Cloudera 开源新项目:轻量级通用资源调度程序 YuniKorn

  • 2019-07-18
  • 本文字数:2282 字

    阅读完需:约 7 分钟

Cloudera 开源新项目:轻量级通用资源调度程序YuniKorn

2019 年 7 月 17 日,Cloudera 官方博客发文开源了一个幕后工作很久的大数据存储和通用计算平台交叉的新项目——YuniKorn。据介绍,YuniKorn 是一种轻量级的通用资源调度程序,适用于容器编排系统,负责为大数据工作负载分配/管理资源,包括批处理作业和常驻运行的服务。


以下为博客原文的译文


Hello World,已经有一段时间了!


今天我们非常兴奋地宣布开源我们在幕后工作了很久的大数据存储和通用计算平台交叉的一个令人兴奋的新项目 - YuniKorn!- 一个新的独立通用资源调度程序,负责为大数据工作负载分配/管理资源,包括批处理作业和常驻运行的服务。


让我们一起来深入了解一下!

介绍

YuniKorn 是一种轻量级的通用资源调度程序,适用于容器编排系统。它的创建是为了一方面在大规模,多租户环境中有效地实现各种工作负载的细粒度资源共享,另一方面可以动态地创建云原生环境。YuniKorn 为混合工作负载提供统一的跨平台调度体验,包括无状态批处理工作负载和状态服务,支持但不限于 YARN 和 Kubernetes。YuniKorn[‘ju:nikɔ:n]是一个虚构的词,“Y”代表 YARN,“K”代表 K8s,“Uni”代表统一,其发音与“Unicorn”相同。创建它是为了最初支持这两个系统,但最终目的是创建一个可以支持任何容器协调器系统的统一调度程序。


YuniKorn 目前有 4 个组件


  • yunikorn-scheduler-interface

  • yunikorn-core

  • yunikorn-k8shim

  • yunikorn-web


我们将在下面稍后深入讨论这些问题。

背景

企业用户在不同的平台上运行工作负载,例如 YARN 和 Kubernetes。他们需要使用不同的资源调度程序,以便规划其工作负载有效地在这些平台上运行。目前,调度程序生态系统是分散的,并且在平衡现有用例(如批处理工作负载)以及云本机体系结构,自动扩展等新需求方面的实现不是最理想的。例如:


  1. YARN 具有批量工作负载的 Capacity Scheduler 和 Fair Scheduler。

  2. K8s 具有服务的默认调度程序。对于批处理工作负载,社区有 Kube-batch,Poseidon,Rubix(Spark 的 Scheduler 扩展)。


我们调查了这些项目,并意识到到目前为止还没有一个完美的方案来支持无状态批处理作业(需要公平性,高调度吞吐量等)和长期运行服务(需要持久化存储,复杂的编排约束,等等。)。这促使我们必须创建一个统一的调度框架来满足所有这些重要需求,并使大数据和云原生社区受益。

架构

YuniKorn 的其中一个设计目标是将调度程序与下面的资源管理系统分离,为此,我们创建了一个定义通信协议的通用调度程序接口。通过利用它,scheduler-core 和 shim 一起工作来处理调度请求。关于 YuniKorn 组件的解释如下。



图:YuniKorn 架构

YuniKorn 的主要模块

YuniKorn -scheduler-interface:调度程序接口是资源管理平台(如 YARN / K8s)将通过诸如 GRPC /编程语言绑定之类的 API 与之交谈的抽象层。


YuniKorn Core:YuniKorn Core 封装了所有调度算法,它从资源管理平台(如 YARN / K8s)下面收集资源,并负责资源分配请求。它决定每个请求的最佳部署位置,然后将响应分配发送到资源管理平台。调度程序核心与下层平台无关,所有通信都通过调度程序接口。


Scheduler Shim Layers:调度程序 Shim 在主机系统内运行(如 YARN / K8s),它负责通过调度程序接口转换主机系统资源和资源请求,并将它们发送到调度程序核心。在做出调度程序决策时,它负责实际的 pod /容器绑定。


Scheduler UI:调度程序 UI 为已托管的节点,计算资源,应用程序和队列提供简单视图。

YuniKorn 的一些特性

以下是 YuniKorn 目前支持的调度功能列表:


  • 调度功能支持批处理作业和长期运行/有状态服务

  • 具有最小/最大资源配额的分层池/队列

  • 队列,用户和应用程序之间的资源公平性

  • 基于公平性的跨队列抢占

  • 自定义资源类型(如 GPU)调度支持

  • 丰富的编排约束支持

  • 根据策略自动将传入的容器请求映射到队列

  • 对节点使用专用配额/ ACL 管理将大的集群拆分成若干子群集


同时, YuniKorn 作为调度程序对 K8S 的一些支持如下:


  • 支持 K8s 谓词。如 pod 亲和/反亲和,节点选择器

  • 支持持久化存储,配额申请等

  • 从 configmap 动态加载调度程序配置(热刷新)

  • 可以在 Kubernetes 之上部署

  • YuniKorn Web 支持监

  • 视调度程序队列,资源使用,应用程序等

用于监控 YuniKorn 队列资源使用情况的 Web UI


YuniKorn Web UI

用于监控 YuniKorn 应用程序管理和资源使用情况的 Web UI


YuniKorn 用于监控的 Web UI

下一步工作 ?

在单一系统上运行混合负载存在许多的挑战,YuniKorn 是我们打算让这条路径更容易的选择。我们的目标是开始支持各种大数据工作负载运行在 K8S 集群之上。同时,我们正在努力更好地支持 K8S 上的 Spark,Flink 和 Tensorflow 等工作负载。我们的最终目标是为大数据和云原生世界带来最佳的调度体验。


作者介绍:


Weiwei Yang,Cloudera 的软件工程师,Apache Hadoop 提交者和 PMC 成员,专注于分布式系统上的资源调度。


Wangda Tan,Cloudera 的 K8S/Yarn 团队资深软件工程师经理,Apache Hadoop PMC 成员和提交者。自 2011 年以来的 Apache Hadoop。资源管理,调度系统,计算平台的深度学习。


Sunil Govindan,Cloudera 软件工程经理。自 2013 年以来的 Apache Hadoop 项目,贡献者,提交者和 PMC 成员。Hadoop YARN 调度。


Wilfred Spiegelenburg,Cloudera 软件工程师。6 年的 Apache Hadoop 开发经验,主要在 YARN,MapReduce 和 Spark。


Vinod Kumar Vavilapalli,Hortonworks / Cloudera 的工程总监。Apache Hadoop PMC 主席。ASF 会员。Apache Hadoop 创始团队成员之一。主要精力在大数据,大规模调度,容器化支持,扩展性及开源社区。


原文链接:


https://blog.cloudera.com/blog/2019/07/yunikorn-a-universal-resource-scheduler/


2019-07-18 11:5110150

评论 1 条评论

发布
用户头像
新的开源工具,贴个GitHub地址,可以一试哈。
https://github.com/cloudera/yunikorn-core
2019-07-18 13:38
回复
没有更多了
发现更多内容

大赛报名|首次聚焦口罩场景!第三届 106 点关键点定位大赛开启

京东科技开发者

人工智能 深度学习 计算机视觉

互联网短平快下,DevCloud如何支撑软件开发的“转型”?

华为云开发者联盟

android 敏捷开发 软件开发 华为云 devcloud

百分点数据科学实验室:产品生命周期管理创新应用落地实践

百分点大数据团队

一个简单实用的Linux性能分析工具

运维研习社

Linux 性能分析

工作中,有哪些SQL是我们必须要掌握的?

xiezhr

oracle sql SQL语法 3月日更

金三银四如何突击面试美团?面试题(含答案)+学习笔记+电子书籍+学习视频

比伯

Java 编程 架构 面试 程序人生

百分点大数据技术团队:数据治理“PAI”实施方法论

百分点大数据团队

25个关键技术点,带你熟悉Python

华为云开发者联盟

Python

百亿级流量的百度搜索中台,是怎么做可观测性建设的?

百度Geek说

中台 云原生 #百度#

云小课丨网络好不好,ping一下就知道

华为云开发者联盟

网络 虚拟私有云 ping ICMP 安全组

人民网:亚马逊云科技,以这样姿势扎根中国!

亚马逊云科技 (Amazon Web Services)

英特尔:i7-10870H 游戏性能超 R7 5800H,更强的 11 代酷睿 H 在后面

E科讯

农田治理效率低下还赔本?智慧农业力保粮食品质,效率事半功倍

一只数据鲸鱼

物联网 数据可视化 智慧城市 智慧农业 农业管理

Pano React Native SDK 来了!快速实现移动端音视频和白板

拍乐云Pano

flutter ios android RTC React Native

酷睿i7-10870H对比锐龙7 5800H游戏性能, 英特尔仍是游戏本CPU的更优选

E科讯

中国程序员最容易发错的单词

happlyfox

GitHub 学习 程序人生 3月日更

2021 创新加速周蓄势待发,铆足牛劲再出发!

亚马逊云科技 (Amazon Web Services)

SQL Server 删除正在使用数据库

田镇珲

建信金科大咖访谈:金融科技驱动业务创新,智慧运营引领发展转型

金科优源汇

Kubectl Plugin 推荐(一)| 可观测性篇

郭旭东

kubectl kubectl plugin

笔记整理:技术架构涵盖内容和演变过程总结

小傅哥

Java 程序员 小傅哥 架构设计 架构图

滚雪球学 Python 第二轮开启,进阶之路,列表与元组那些事儿

梦想橡皮擦

28天写作 3月日更

KubeEdge 1.6发布:可靠的K8s原生边云API

华为云原生团队

开源 云原生 边缘技术 kubeedge

华云大咖说 | 高校混合云建设及应用

华云数据

力扣(LeetCode)刷题,简单+中等题(第32期)

不脱发的程序猿

算法 LeetCode 编程能力 28天写作 3月日更

【LeetCode】用栈实现队列Java题解

Albert

算法 LeetCode 28天写作

Shibboleth IdP4 升级指南

冯骐

认证 Shibboleth IdP 上海教育认证 上海教育

智汇华云 | ArcherOS Stack—软件定义数据中心“利器”

华云数据

详解NLP和时序预测的相似性(附赠AAAI21最佳论文INFORMER的详细解析)

华为云开发者联盟

自然语言处理 深度学习 时序预测 RNN Informer

是什么支持“毅力号”在火星上尽情摄影?

亚马逊云科技 (Amazon Web Services)

报名 | 全球首个小资源音色克隆赛结果出炉,高分队伍线上报告会

爱奇艺技术产品团队

Cloudera 开源新项目:轻量级通用资源调度程序YuniKorn_云原生_Weiwei Yang 等_InfoQ精选文章