写点什么

Expedia 开源针对 Kubernetes 工作负载的容器启动自动扩缩器(CSA)

Claudio Masolo

  • 2024-05-28
    北京
  • 本文字数:1721 字

    阅读完需:约 6 分钟

大小:886.72K时长:05:02
Expedia 开源针对 Kubernetes 工作负载的容器启动自动扩缩器(CSA)

Expedia 的性能和可靠性团队最近 开源了 其 容器启动自动扩缩器(container-startup-autoscaler,CSA)。CSA 是一个 Kubernetes 控制器,利用 Pod 资源的原地资源更新(In-Place Update of Pod Resources)特性,在启动过程中基于用户定义的启动时 / 启动后配置动态调整容器的 CPU 和 / 或内存资源。


Pod 资源的原地资源更新特性自 Kubernetes 1.27.0 进入 alpha 状态。该功能能够修改 Pod 资源(请求和限制),而无需重启 Pod。在此之前,对 Pod 的所有调整都必须重启 Pod 才能实现。


在 Kubernetes 工作负载的管理中,有一个长期存在的问题,那就是如何优化容器资源,以便于适应在启动阶段和启动后阶段展现出截然不同资源使用模式的工作负载。在原地资源更新特性引入之前,在启动密集型工作负载时,需要在实现一致的启动时间和尽量减少启动后资源浪费之间做出权衡:


  1. 突发的服务质量(Quality of Service,QoS):


a.设置高于请求的限制,在启动期间预留超出请求的资源

b.由于依赖于集群节点的负载情况,启动时间无法预测

c.启动后的性能也可能不稳定,原因在于额外回收(scavenged)资源的不确定性,尤其是在集群联合的机制中

2.确保 QoS(1):

a.建立与请求相等的限制,优先考虑启动时间

b.可预测的启动时间和启动后性能,但是可能会造成浪费,尤其是在 Pod 副本数量过多的情况下

3.确保 QoS(2):

a.设置与请求相等的限制,强调正常工作负载服务的性能

b.可预测和可接受的启动后性能,但代价是启动时间较慢,从而会延长部署的持续时间和水平扩展的反应时间,影响运行效率


容器启动自动扩缩器(CSA)在 Pod 级别运行。它与各种工作负载管理 API(如 Deployments、StatefulSets 和 DaemonSets)集成,确保不同 Pod 管理方法之间的兼容性。它既支持初始的容器启动,也支持 Kubernetes 启动的重启操作。


CSA 的逻辑模式


CSA 可关注 Pod 中的单个 non-init/ephemeral 容器。目标容器的名称和所需的启动时 / 启动后资源配置等细节信息都封装在特定 Pod 的注解中。


CSA 在监控要用于扩展的 Pod(通过标签识别)时,会对这些 Pod 中的变化做出响应。当探测出符合条件的 Pod 发生变化,CSA 就会评估目标容器的当前状态,并根据其状态执行如下所示的某个操作:


  1. 命令其执行启动资源设置(当目标容器处于非活动状态,并且已经应用过了启动后设置)

  2. 命令其执行启动后资源设置(当目标容器处于活动状态,并且已经应用过了启动期设置)

  3. 评估先前执行的缩放命令的状态并生成相应报告。确认成功的缩放已执行。


CSA 会在其 Pod 创建目标容器时以及 Kubernetes 重新启动目标容器时进行干预。CSA 在不必要时会避免执行扩缩操作。例如,如果目标容器在准备就绪前反复启动失败(促使 Kubernetes 以 CrashLoopBackOff 的方式重新启动),在这种情况下,CSA 只会应用一次启动资源。此外,CSA 还会生成度量指标、Kubernetes Pod 事件和详细的状态更新,所有的这些内容都会纳入到扩展的 Pod 注解中。


CSA 有一些限制:


  • 最初声明的目标资源必须得到保证(请求 == 限制),以便于符合启动资源能够得到保证的特点。当前的 Kube API 拒绝改变资源的服务质量(QoS)。随着 Pod 资源原地更新特性的发展,这一限制应该会得到解决。

  • 如上所述,启动后的资源也必须得到保证(请求 == 限制),以便于符合启动资源能够得到保证的特点。

  • 缩放目标容器尝试失败后不会进行重试。


CSA 的主要目标是让 Kubernetes 工作负载管理员在启动过程中精细调整容器资源,而不必在启动后进行资源配置,从而减少相关的权衡。这种方法有助于实现如下目标:


  1. 通过分离启动阶段和启动后阶段的资源设置,减少资源浪费。

  2. 提高启动性能和可预测性,实现更快的横向扩展操作。


到 Kubernetes 1.29 为止,CSA 所依赖的 Pod 资源原地更新特性还处于 alpha 阶段。因此,CSA 功能需要启用 InPlacePodVerticalScaling 特性门控(feature gate)。鉴于该特性和 CSA 实现都在持续开发中,建议谨慎使用。在达到稳定状态之前,Expedia 团队建议仅将 CSA 用于本地或非生产 Kubernetes 环境中进行预览。


查看英文原文:


Expedia Opensourced Its Container-Startup-Autoscaler (CSA) for Kubernetes Workloads (https://www.infoq.com/news/2024/04/expedia-startup-autoscaler/)


声明:本文为 InfoQ 翻译,未经许可禁止转载。

2024-05-28 14:413610

评论

发布
暂无评论
发现更多内容

鸿蒙系统拖拽事件简易使用

flfljh

面向医疗场景的大模型 RAG 检索增强解决方案

阿里云大数据AI技术

人工智能 阿里云 信息检索 rag PAI

装备管理系统(源码+文档+部署+讲解)

深圳亥时科技

模态弹窗

flfljh

Invisible for Mac(文件隐藏工具)v3.0.2激活版

小玖_苹果Mac软件

出租屋管理系统(源码+文档+部署+讲解)

深圳亥时科技

战略承接,提高执行能力和资源配置效率

用友智能财务

企业 会计 财会

Sweet Home 3D for Mac(3D室内装潢设计软件)v7.5.7激活中文版

小玖_苹果Mac软件

【体验有奖】SoFlu - JavaAI 开发助手邀您来体验啦!

飞算JavaAI开发助手

程序员 接口 Java. 有奖评测 AI编码

Arturia Augmented MALLETS for mac(槌击乐音源)v1.0.0激活版

小玖_苹果Mac软件

Stepper 组件简易使用教程

flfljh

Commander One PRO Pack for Mac(文件管理)v3.12.0中文激活版

小玖_苹果Mac软件

华为鸿蒙系统Stage模型:构建轻量、高效、安全的应用程序

flfljh

Toggle 组件的简易使用

flfljh

鸿蒙 next 基于@xwf/image_preview(V1.0.1)开发自己的功能

flfljh

Hides for Mac(隐藏程序Mac老板键)v7.0.4激活版

小玖_苹果Mac软件

USBclean for Mac(USB专杀工具)v4.1.2 激活版

小玖_苹果Mac软件

Commander One for Mac(双窗口文件管理器)v3.12.0免激活版

小玖_苹果Mac软件

WingPro for Mac(强大的Python开发工具)v10.0.8注册激活版

小玖_苹果Mac软件

如何通过技术手段优化多源异构数据的整合流程以降本增效?

Aloudata

数据中台 数据仓库 数据开发 数据集成 数据编织

Privatus for Mac(网页缓存清理工具)v7.1.3激活版

小玖_苹果Mac软件

再获“金 i 奖”!MIAOYUN荣获“2024年度智慧运维创新应用奖”

MIAOYUN

云计算 运维 云原生 数字经济 智能运维

专升本服务管理平台(源码+文档+部署+讲解)

深圳亥时科技

焦点控制

flfljh

Infuse for Mac(多媒体播放器)v8.0.7 免激活版

小玖_苹果Mac软件

Expedia 开源针对 Kubernetes 工作负载的容器启动自动扩缩器(CSA)_后端_InfoQ精选文章