直播预约通道开启!2021腾讯数字生态大会邀您共探产业发展新机遇! 了解详情
写点什么

Argo 加入 CNCF 孵化器,一文解析 Kubernetes 原生工作流

2020 年 4 月 10 日

Argo加入CNCF孵化器,一文解析Kubernetes原生工作流

4 月 8 日,CNCF 技术监督委员会(Technical Oversight Committee,TOC)投票决定接受 Argo 作为孵化级别的托管项目。


Argo 项目是一组 Kubernetes 原生工具集合,用于运行和管理 Kubernetes 上的作业和应用程序。Argo 提供了一种在 Kubernetes 上创建工作和应用程序的三种计算模式 – 服务模式、工作流模式和基于事件的模式 – 的简单组合方式。所有的 Argo 工具都实现为控制器和自定义资源。


Argo 项目:面向 K8s 的工作流

DAG (Directed acyclic graph,有向无环图) 是一个典型计算机图论问题,可以用来模拟有相互依赖关系的数据处理任务,比如音视频转码,机器学习数据流,大数据分析等。


Argo 最早是通过 workflow 在社区闻名。Argo Workflow 的项目名称就是 Argo, 是 Argo 组织最初的项目。Argo Workflow 专注于 Kubernetes Native Workflow 设计,拥有声明式工作流机制,能够通过 CRD 的模式完全兼容 Kubernetes 集群,每个任务通过 Pod 的形式运行,Workflow 提供 DAG 等依赖拓扑,并且能够通过 Workflow Template CRD 实现多个 Workflow 之间的组合与拼接。



上图就是一个典型的 DAG 结构,Argo Workflow 可以根据用户提交的编排模板,很容易的构建出一个有相互依赖关系的工作流。Argo Workflow 就可以处理这些依赖关系,并且按照用户设定的顺序依次运行。


Argo CD 是另一个最近比较知名的项目。Argo CD 主要面向 Gitops 流程,解决了通过 Git 一键部署到 Kubernetes 的需求,并且能够根据版本标识快速跟踪,回滚。Argo CD 还提供了多集群部署功能,能够打通多个集群之间同一应用部署问题。



Argo Event 提供基于事件依赖关系的声明式管理,以及基于各种事件源的 Kubernetes 资源触发器。Argo Events 的常见用法是触发 Argo 工作流并为使用 Argo CD 部署的长期服务生成事件。


Argo Rollout 是为了解决多种部署形式而诞生的项目。Argo Rollout 能实现多种灰度发布方式,同时结合 Ingress, Service Mesh 等方式完成流量管理与灰度测试。


Argo 各个子项目既可以单独使用,也可以结合使用。一般而言,结合使用多个子项目能够发挥 Argo 更大的能力,并且实现更多的功能。


使用 Argo 中遇到的问题与解决方法

阿里云最早落地的是 Argo Workflow,在使用 Argo Workflow 时第一个问题就是权限管理。Argo Workflow 每一个具体的任务都是通过 Pod 来执行,同时有一个 sidecar 容器来监听主任务的进行。这里的 sidecar 监听方式是通过 mount docker.sock 来实现,这就绕过了 Kubernetes APIServer RBAC 机制,无法实现对于用户权限的精确控制。我们与社区一起合作开发,实现了 Argo Kubernetes APIServer Native Executor 功能,sidecar 能够通过 service account 监听 APIServer 来获取到主容器的动态与信息,实现了 Kubernetes RBAC 的支持与权限收敛。


Argo Workflow 在 DAG 解析过程中,每一步都会根据 Workflow label 来扫描所有的 Pod 状态,以此来决定是否需要进行下一步的动作。但是每一次扫描都是串行执行,当集群中 Workflow 较多的时候,就会出现扫描速度缓慢,工作流的任务长时间等待的现象。基于此我们开发了并行扫描功能,将所有的扫描动作使用 goroutine 并行化,极大的加速了工作流执行效率。将原有需要 20 小时运行的任务,降低到 4 小时完成。此功能已经回馈给社区,并且在 Argo Workflow v2.4 版本发布。


在实际生产中,Argo Workflow 执行的步数越多,占用的空间越多。所有的执行步骤均记录在 CRD Status 字段里面。当任务数量超过 1000 步的时候,就会出现单个对象过大,无法存储进入 ETCD,或者会因为流量过大,拖垮 APIServer。我们与社区合作开发了状态压缩技术,能够将 Status 进行字符串压缩。压缩后的 Status 字段大小仅为原来大小的 20 分之一,实现了 5000 步以上的大型工作流运行。


Argo 在基因数据处理场景的落地实践

AGS(阿里云基因计算服务)主要应用于基因组测序二级分析,通过 AGS 加速 API 只需要 15 分钟即可完成一个 30X WGS 的基因比对、排序、去重、变异检测全流程,相比经典流程可加速 120 倍,比目前全球最快的 FPGA/GPU 方案仍能提速 2-4 倍。


通过分析个体基因序列的突变机制,可为遗传病检测、肿瘤筛查等提供有力支撑,未来将在临床医学和基因诊断方面发挥巨大作用。人类全基因组有约 30 亿个碱基对,一个 30X 的 WGS 测序数据量大约在 100GB。AGS 在计算速度、精准度、成本、易用性、与上游测序仪的整合度上具有极大优势,同时适用于 DNA 的 SNP/INDEL 以及 CNV 结构变异检测,以及 DNA/RNA 病毒检测等场景。



AGS 工作流是基于 argo 实现的,为 Kubernetes 提供容器化的本地工作流程。工作流程中的每个步骤都定义为容器。


工作流引擎是作为 Kubernetes CRD(自定义资源定义)实现的。因此,可以使用 kubectl 管理工作流,并与其他 Kubernetes 服务本地集成,例如 Volumes、Secrets 和 RBAC。工作流控制器提供完整的工作流程功能,包括参数替换,存储,循环和递归工作流程。


阿里云在基因计算场景下使用 Argo Workflow 在 Kubernetes 集群上运行数据处理分析业务,能够支持超过 5000 步以上的大型工作流,且能够比传统数据处理方式加速百倍。通过定制化的 Workflow 引擎,极大的便捷了基因数据处理的效率。


作者简介:


陈显鹭,阿里云技术专家,深耕 Docker&Kubernetes 多年 是 Docker 多个项目的 Contributor, Kubernetes Group Member,《自己动手写 Docker》作者。专注于容器技术的编排与基础环境研究。爱好折腾源代码 热爱开源文化并积极参与社区开源项目的研发


郡宝,Kubernetes 项目贡献者,Kubernetes 和 Kubernetes-sigs 社区成员。在容器、K8S 领域有多年的实践经验,目前就职于阿里巴巴云计算容器服务团队,主要研究方向有容器存储、容器编排 、 AGS 产品等领域。


2020 年 4 月 10 日 14:362528

评论

发布
暂无评论
发现更多内容

《实战Java高并发程序设计》.pdf

田维常

电子书

《人人都是架构师:分布式系统架构落地与瓶颈突破》.pdf

田维常

电子书

Alibaba技术大牛丢给我一份Spring Cloud笔记,在GitHub的热度居然高达81.6k标星,太强了!

Java成神之路

Java 程序员 架构 面试 编程语言

阿里云视频云技术专家 LVS 演讲全文:《“云端一体”的智能媒体生产制作演进之路》

阿里云视频云

媒体 音视频

「混合云」会是云计算的下一个战场吗?

ToB行业头条

阿里云

《循序渐进Linux (第2版)》.pdf

田维常

电子书

渣渣2本学历CRUD一年半,决定改变现状,努力学习两个月成功拿到美团30k offer

Java成神之路

Java 程序员 架构 面试 编程语言

央行数字货币为人民币国际化之路提供推动力

CECBC区块链专委会

数字货币

银行数字化转型:需建立起以体验为核心、数据为基础、技术为驱动的架构体系

CECBC区块链专委会

银行 数字经济

《零成本实现Web性能测试——基于Apache JMeter》.pdf

田维常

电子书

《自己动手写网络爬虫》.pdf

田维常

电子书

区块链+能源 大放异彩

CECBC区块链专委会

区块链 能源

面试大厂被算法难倒惨遭滑铁卢?这份字节内部大佬整理的《数据结构与算法》学习笔记你一定要看看!

Java架构之路

Java 程序员 架构 面试 编程语言

英特尔顶级技术专家合力缔造精品:Linux开源网络全栈详解

周老师

Java 编程 程序员 架构 面试

《一线架构师实践指南》.pdf

田维常

电子书

《MySQL开发者SQL权威指南》.pdf

田维常

电子书

《Python源码剖析》.pdf

田维常

电子书

《Java Web企业项目实战》.pdf

田维常

电子书

阿里P8Java大神给迷茫的程序员一些中肯建议:“请不要再虚度光阴了!”

Java成神之路

Java 程序员 架构 面试 编程语言

大数据处理黑科技:揭秘PB级数仓GaussDB(DWS) 并行计算技术

华为云开发者社区

数据库 并行算子 计算

《HTML5与CSS3基础教程(第8版)》.pdf

田维常

电子书

《用户网络行为画像》.pdf

田维常

电子书

聆听无声的话语:手把手教你用ModelArts实现手语识别

华为云开发者社区

AI 图像识别 手语

Nginx-技术专题-入门教程

李浩宇/Alex

配置企业管理系统,什么样的工作流才有用

雯雯写代码

工作流 企业管理系统

《Go语言实战》.pdf

田维常

电子书

阿里技术四面+交叉面+HR面成功拿到offer,谁说双非本科进不了大厂?

Java成神之路

Java 程序员 架构 面试 编程语言

深入理解Java虚拟机第三版,通俗易懂,大牛带你轻松搞懂JVM性能调优

Java架构之路

Java 程序员 架构 面试 编程语言

架构师训练营第一期 - week7

习习

直播预告 | 应用加固防破解,4.1折就够了

蚂蚁集团移动开发平台 mPaaS

安全攻防 App风险 mPaaS

还在为算法烦恼?那你应该还没看过这份Git上70k标星的笔记

Java架构师迁哥

技术为帆,纵横四海- Lazada技术东南亚探索和成长之旅

技术为帆,纵横四海- Lazada技术东南亚探索和成长之旅

Argo加入CNCF孵化器,一文解析Kubernetes原生工作流-InfoQ