写点什么

如何进行架构设计 | 深度揭秘阿里云 Serverless Kubernetes(2)

  • 2022-04-02
  • 本文字数:2537 字

    阅读完需:约 8 分钟

如何进行架构设计 | 深度揭秘阿里云 Serverless Kubernetes(2)

在上一篇《故事,从Docker讲起|深度揭秘阿里云Serverless Kubernetes(1)》的文章中,我们介绍了 Serverless Kubernetes 的演进历史,在这一篇我们将进入阿里云 Serverless Kubernetes 内部,从架构层面看一下阿里云是如何实现 Serverless Kubernetes 的。

 

整体架构

 

Serverless Kubernetes 设计的初衷是为了提供一套免运维的云上托管 Kubernetes。所以,我们不仅要解决 Kubernetes Master(etcd、kube-apisever、kube-controller-manager)的托管,而且还需要实现 Pod 的云上托管,这样用户只需要提交 Yaml 便可以启动服务,不再需要维护计算节点。基于此,我们将整个 Serverless Kubernetes 架构做了如下设计:

 


整个架构分为三层:Kubernetes Master 和虚拟 Kubelet、ECI 后台服务以及 ECI Agent。

 

最上层是一个云上托管的 Kubernetes Master 和一个虚拟 Kubelet(Virtual Kubelet)。Virtual Kubelet 和标准的 Kubelet 类似,只不过在启动 Pod 的时候不再是调用本地的 CRI 启动容器,而是通过 HTTP 的方式调用 ECI OpenAPI 启动 ECI 实例,每个 ECI 就是一个 Pod。Virtual Kubelet 设计的初衷主要是为了贴合 k8s 原生架构:在 k8s 中,Pod 是由 Kubelet 拉起并且定时同步状态。

 

中间层是 ECI 后台服务,负责资源配置和调度。如用户配置日志采集,ECI 后台会去 SLS(阿里云日志服务)创建日志采集配置,如果用户通过 PVC 为 Pod 挂载云盘,ECI 后台服务会创建云盘并将云盘挂载到 ECI 上。另外,ECI 后台还负责资源调度,选择合适的物理机节点启动 ECI,具体启动方式是通过部署在每个节点上的 proxy 完成。

 

底层是 ECI Agent, 负责启动业务容器。上面的 proxy 只是启动了一个安全沙箱,但用户需要的是一个运行业务的 Pod,所以我们还需要在这个沙箱里面拉起用户的业务容器,Agent 就是根据用户的 Pod 的定义,启动对应的容器,并且负责管理后续容器的生命周期,如果 Pod 异常退出,Agent 会重新拉起。

 

下面我们将从 Pod 创建的流程,分别介绍每个组件的工作原理。

 

云上托管的 Kubernetes

 

用户创建 Pod 的请求首先会发送到 k8s master,所以我们要解决的第一个问题是如何实现 k8s master 的云上托管。

 

这里我们使用了“k8s on k8s”的方案,借助 k8s 的能力运维用户的 k8s master。由于 k8s master 的配置项比较多,很难通过一个 Deployment 或者 Statefulset 表达,为了灵活控制,我们使用 k8s CRD(CustomResourceDefinition),将 k8s 集群抽象成一个 Cluster CRD,当用户在控制台创建一个 ASK 集群的时候,后台便会提交一个 Cluster CR。于是,CRD 控制器便会为每个集群单独创建一个 Namespace,并在这个 Namespace 里面创建 Etcd 和 k8s master (etcd、kube-apiserver、controller manager)集群。


 细心的你可能发现,上面的 k8s 的管理组件没有 scheduler,这是因为在 ASK 中,没有真实的计算节点,不需要调度。Virtual Kubelet 会一直监听 k8s 的 apiserver,当用户提交创建 Pod 请求后,Virtual Kubelet 发现了这个 Pending 的 Pod 后,便会调用 ECI OpenAPI 直接创建 ECI(Pod),并且定时将 Pod 状态同步到 apiserver。

 

承上启下的 ECI 后台

 

当 Virtual Kubelet 通过 HTTP 接口请求创建 ECI 的时候,ECI 后台接收请求后首先会进行参数校验。譬如 ECI 不支持 HostPath(需要单独开白名单),如果用户配置了 HostPath 会直接返回错误,然后会将 ECI 元数据入库,并进入流控队列。出队之后,ECI 后台会通过库存系统,调度到一台合适的物理机上。每台物理机上都会部署一个 proxy,负责接收后台的创建请求并启动 ECI 安全沙箱。整个流程如下所示:


做个类比,操作系统向下管理一台机器硬件资源向上提供各种系统调用,那么 ECI 后台向下管理整个云数据中心的资源向上暴露 OpenAPI 提供 ECI 的管理能力。

 

从这个层面来说,ECI 的后台就是云操作系统。比如 ECI 后台中的流控队列就是为了保障多用户的公平调度,每个用户都会有一个队列,出队的时候,依次从每个队列出中取出未调度的 ECI ,从而确保不会出现调度饥饿。

  

伪装成 Pod 的 ECI-Agent

 

当 proxy 启动 ECI 沙箱后,ECI-Agent 会根据 Pod 的定义,在 ECI 里面启动容器。每个 ECI 都伪装成了一个 Pod,所以对于 k8s 来说,它必须满足 Pod 的日常行为,比如容器生命周期管理、健康检查、性能监控、执行 exec/log/attach,以及上报自己的状态(Status)和事件(Event)。所以在早期我们将 kubelet 和 containerd 经过简单删减后直接塞入 ECI-Agent 里面。

当 ECI-Agent 接收到 Pod 创建请求后,首先会将 Pod 信息本地持久化,这样 ECI 重启后就可以自行恢复。然后,ECI-Agent 会将 Pod 内容发送给 Kubelet,剩下的就是 Kubelet 执行原生启动 Pod 的逻辑了。Pod 启动成功后,Kubelet 会将 Pod 状态同步到 kube-apiserver,这样用户就可以实时地查看到 Pod 状态了。

 

这里大家可能有疑问,上面介绍了 Virtual Kubelet ,而 ECI 里面还有一个精简的 Kubelet,两者是不是存在冲突?

 

大家都知道,原生 Kubelet 主要工作是负责监听 kube-apiserver,当发现有 Pod 调度到本机后则会执行创建 Pod(拉起容器),并且上报状态。所以,我们这里将原生 Kubelet 拆解成两个部分:负责监听 kube-apiserver 的 Virtual Kubelet 和 ECI-Agent 里真正启动 Pod 容器和上报状态的精简 Kubelet。

 

至此,我们通过 ASK 中启动 Pod 整个流程,打通了 ASK 整体架构。大家可以简单把 ASK 理解成 “云上托管的 k8s master + ECI (弹性容器)”。一方面,云上托管的 k8s 集群减少用户的运维成本,另一方面,底层 ECI 按需使用秒级计费节省用户费用,可谓天作之合。

 

ECI 这种按照 Pod 维度所用随取的使用方式非常适合 Job 任务的运行,从 Job 任务开始计费到 Job 任务结束停止计费。目前,ECI 每天的创建量已经超过一百多万个,支持了众多互联网和人工智能公司。

 

在后续的文章中,我们将逐步拆解架构,分享更多实战和内部细节,请大家继续关注。


本文节选自阿里云技术专家陈晓宇的《深度揭秘阿里云 Serverless Kubernetes》系列专题。本专栏将主要围绕如何在 Serverless Kubernetes 场景中实现秒级扩容,以及在大规模并发启动中遇到的各种技术挑战、难点以及解决方案,系统地揭秘阿里云 Serverless Kubernetes 的发展、架构以及核心技术。

 

作者简介:

 

陈晓宇,阿里云技术专家,负责阿里云弹性容器(ECI)底层研发工作,曾出版《深入浅出 Prometheus》 和 《云计算那些事儿》。

2022-04-02 16:445051

评论

发布
暂无评论
发现更多内容

架构训练营第10期模块5作业

Geek_4db2d5

Databend 内幕大揭秘第二弹 - Data Source

Databend

nCompass为医疗行业信息安全穿上“铠甲”

智维数据

大数据 数据可视化 智能运维 应用交付 流量分析系统

从人工分析到智能分析,流量分析如何快速上手?

智维数据

智能运维 应用交付 可视化数据 流量分析系统

启科 QuTrunk+Runtime+QuSaaS+亚马逊云科技量子计算编程实战

亚马逊云科技 (Amazon Web Services)

Python 量子计算 Amazon EC2 Hero 专栏 Amazon Braket

谈谈enabled_shared_from_this

SkyFire

c++ 智能指针

CleanMyMac4.12.3中文版如何汉化免费?

茶色酒

CleanMyMac4.12.3

MySQL:如何给字符串加一个高效索引?

程序员拾山

MySQL

中国国际电子商务中心与易观分析联合发布:2022年3季度全国网络零售发展指数同比增长1.5%

易观分析

零售 电商

华为云发布冷启动加速解决方案:助力Serverless计算速度提升90%+

华为云开发者联盟

Serverless 华为云 冷启动 Cold Start 进程级快照

DAPP/去中心化系统开发流程解析方案(成熟理念)分析结果

I8O28578624

嘉为蓝鲸IT服务管理解决方案入选2022广东省政务服务创新解决方案

嘉为蓝鲸

自动化运维 嘉为蓝鲸 IT服务管理中心

Studio One6永久免费版本下载安装包

茶色酒

Studio One6

在Spring异步线程池中自动传递上下文,这样写轻松又方便

程序员拾山

Spring Boot #java

设计模式之装饰者模式

程序员大彬

Java 设计模式

树与二叉树深度剖析(二)

C++后台开发

数据结构 算法 二叉树 红黑树 Linux服务器开发

深度学习快速上手——基于 MegEngine 的 LeNet 快速训练与部署

MegEngineBot

深度学习 开源 MegEngine

性能优化 - 访问局部性

王玉川

c++ 性能 cpu 访问局部性

30+亮眼指标,看看2022年嘉为蓝鲸的逆势创新之路!

嘉为蓝鲸

自动化运维 嘉为蓝鲸 2022大事件

软件测试/测试开发 | 接口自动化测试中,文件上传该如何测试?

测试人

软件测试 自动化测试 接口测试 测试开发 文件上传

安全事件溯源分析场景

智维数据

大数据 数据可视化 智能运维 应用交付 流量分析系统

通用池化框架commons-pool2功能拓展

FunTester

“零信任”下的防火墙策略管理

智维数据

大数据 防火墙 数据可视化 智能运维 运维安全

深入理解跨域和最佳实践分享

Crazy Urus

面试 前端 HTTP 跨域

栉风沐雨 韧性前行 | 2022年九科大事件

九科Ninetech

RPA 超自动化 流程挖掘

Golang如何优雅接入多个远程配置中心?

王中阳Go

golang 高效工作 学习方法 后端 viper

Lattice - 模式级复用的能力定义

原力在线

架构 lattice 高可扩展

如何让Java编译器帮你写代码

京东科技开发者

后端 编译器 java; 编译器原理 企业号 1 月 PK 榜

人人都在聊的云原生数据库Serverless到底是什么?

华为云开发者联盟

数据库 Serverless 云原生 华为云 GaussDB

流程的价值一,固化业务的最佳实践!

CTO技术共享

如何进行架构设计 | 深度揭秘阿里云 Serverless Kubernetes(2)_服务革新_陈晓宇_InfoQ精选文章