写点什么

Expedia 开源针对 Kubernetes 工作负载的容器启动自动扩缩器(CSA)

Claudio Masolo

  • 2024-05-28
    北京
  • 本文字数:1721 字

    阅读完需:约 6 分钟

大小:886.72K时长:05:02
Expedia 开源针对 Kubernetes 工作负载的容器启动自动扩缩器(CSA)

Expedia 的性能和可靠性团队最近 开源了 其 容器启动自动扩缩器(container-startup-autoscaler,CSA)。CSA 是一个 Kubernetes 控制器,利用 Pod 资源的原地资源更新(In-Place Update of Pod Resources)特性,在启动过程中基于用户定义的启动时 / 启动后配置动态调整容器的 CPU 和 / 或内存资源。


Pod 资源的原地资源更新特性自 Kubernetes 1.27.0 进入 alpha 状态。该功能能够修改 Pod 资源(请求和限制),而无需重启 Pod。在此之前,对 Pod 的所有调整都必须重启 Pod 才能实现。


在 Kubernetes 工作负载的管理中,有一个长期存在的问题,那就是如何优化容器资源,以便于适应在启动阶段和启动后阶段展现出截然不同资源使用模式的工作负载。在原地资源更新特性引入之前,在启动密集型工作负载时,需要在实现一致的启动时间和尽量减少启动后资源浪费之间做出权衡:


  1. 突发的服务质量(Quality of Service,QoS):


a.设置高于请求的限制,在启动期间预留超出请求的资源

b.由于依赖于集群节点的负载情况,启动时间无法预测

c.启动后的性能也可能不稳定,原因在于额外回收(scavenged)资源的不确定性,尤其是在集群联合的机制中

2.确保 QoS(1):

a.建立与请求相等的限制,优先考虑启动时间

b.可预测的启动时间和启动后性能,但是可能会造成浪费,尤其是在 Pod 副本数量过多的情况下

3.确保 QoS(2):

a.设置与请求相等的限制,强调正常工作负载服务的性能

b.可预测和可接受的启动后性能,但代价是启动时间较慢,从而会延长部署的持续时间和水平扩展的反应时间,影响运行效率


容器启动自动扩缩器(CSA)在 Pod 级别运行。它与各种工作负载管理 API(如 Deployments、StatefulSets 和 DaemonSets)集成,确保不同 Pod 管理方法之间的兼容性。它既支持初始的容器启动,也支持 Kubernetes 启动的重启操作。


CSA 的逻辑模式


CSA 可关注 Pod 中的单个 non-init/ephemeral 容器。目标容器的名称和所需的启动时 / 启动后资源配置等细节信息都封装在特定 Pod 的注解中。


CSA 在监控要用于扩展的 Pod(通过标签识别)时,会对这些 Pod 中的变化做出响应。当探测出符合条件的 Pod 发生变化,CSA 就会评估目标容器的当前状态,并根据其状态执行如下所示的某个操作:


  1. 命令其执行启动资源设置(当目标容器处于非活动状态,并且已经应用过了启动后设置)

  2. 命令其执行启动后资源设置(当目标容器处于活动状态,并且已经应用过了启动期设置)

  3. 评估先前执行的缩放命令的状态并生成相应报告。确认成功的缩放已执行。


CSA 会在其 Pod 创建目标容器时以及 Kubernetes 重新启动目标容器时进行干预。CSA 在不必要时会避免执行扩缩操作。例如,如果目标容器在准备就绪前反复启动失败(促使 Kubernetes 以 CrashLoopBackOff 的方式重新启动),在这种情况下,CSA 只会应用一次启动资源。此外,CSA 还会生成度量指标、Kubernetes Pod 事件和详细的状态更新,所有的这些内容都会纳入到扩展的 Pod 注解中。


CSA 有一些限制:


  • 最初声明的目标资源必须得到保证(请求 == 限制),以便于符合启动资源能够得到保证的特点。当前的 Kube API 拒绝改变资源的服务质量(QoS)。随着 Pod 资源原地更新特性的发展,这一限制应该会得到解决。

  • 如上所述,启动后的资源也必须得到保证(请求 == 限制),以便于符合启动资源能够得到保证的特点。

  • 缩放目标容器尝试失败后不会进行重试。


CSA 的主要目标是让 Kubernetes 工作负载管理员在启动过程中精细调整容器资源,而不必在启动后进行资源配置,从而减少相关的权衡。这种方法有助于实现如下目标:


  1. 通过分离启动阶段和启动后阶段的资源设置,减少资源浪费。

  2. 提高启动性能和可预测性,实现更快的横向扩展操作。


到 Kubernetes 1.29 为止,CSA 所依赖的 Pod 资源原地更新特性还处于 alpha 阶段。因此,CSA 功能需要启用 InPlacePodVerticalScaling 特性门控(feature gate)。鉴于该特性和 CSA 实现都在持续开发中,建议谨慎使用。在达到稳定状态之前,Expedia 团队建议仅将 CSA 用于本地或非生产 Kubernetes 环境中进行预览。


查看英文原文:


Expedia Opensourced Its Container-Startup-Autoscaler (CSA) for Kubernetes Workloads (https://www.infoq.com/news/2024/04/expedia-startup-autoscaler/)


声明:本文为 InfoQ 翻译,未经许可禁止转载。

2024-05-28 14:413649

评论

发布
暂无评论
发现更多内容

数字揭秘丨AI 和结构优化技术让《星球大战》的帝国军队在恩多战役中转败为胜

Altair RapidMiner

人工智能 机器学习 仿真 altair

天谋科技连续获中国信通院认可,认定为时序数据库领航者厂商

Apache IoTDB

以Zookeeper为例 浅谈脑裂与奇数节点问题

数新网络官方账号

zookeeper

最新资讯!《可观测性能力建设指南(2024年)》即将在2024可信云大会上发布!

乘云数字DataBuff

白皮书 可观测 信通院

2024年第二季度 DDoS 威胁趋势报告

网络安全服务

TCP udp DDoS Cloudflare DDoS 攻击

tuxera手动批准内核扩展 如何手动批准其内核扩展 Tuxera Ntfs for mac内核扩展批准不了怎么办

阿拉灯神丁

Mac 内核 磁盘管理 Tuxera NTFS2023\ Tuxera NTFS教程

使用观测云监控观测 AutoMQ 最佳实践

观测云

监控 AutoMQ

年中工作汇报必备的3个PPT网站推荐,办公效率直线上升!

彭宏豪95

人工智能 PPT 办公软件 AIGC AI生成PPT

IoTDB 分段查询语句详解:GROUP BY + 时序语义

Apache IoTDB

面试阿里,直呼太难了!

王中阳Go

Go 后端 面经

硅纪元AI应用推荐 | 5分钟搞定会议纪要,一键生成脑图

硅纪元

通义听悟

2024火山引擎AI创新巡展:五城联动,解锁AI落地新密码

新消费日报

同样是人工智能 客户在哪儿AI和GPT等大模型有什么不同

客户在哪儿AI

ToB营销 ToB增长 大客户营销

比亚迪王传福对话九牧林孝发,一场火出圈的“科技跨界”

Alter

以工业互联网为支撑 低代码推动数字技术赋能新型工业化

不在线第一只蜗牛

低代码 数字化 工业互联网 制造业

AI与心理疗愈:探索心大陆的七大应用领域

心大陆多智能体

智能体 AI大模型 心理健康 数字心理

天谋科技连续获中国信通院认可,认定为时序数据库领航者厂商

Apache IoTDB

OpenAI 发布 GPT-4o mini;FasterLivePortrait 支持实时表情转移丨 RTE 开发者日报

声网

idm下载速度慢解决办法 idm批量导入下载使用方法 idm下载速度只有几百kb

阿拉灯神丁

网络 批量 加速器 IDM idm下载

首批通过 | 百度通过中国信通院H5端人脸识别安全能力评估工作

百度安全

直播预告丨如何抓住“数字经济发展红利”,重塑企业可持续竞争能力?

轶天下事

找国内API,用哪家API平台?

幂简集成

API

Spark内核的设计原理

数新网络官方账号

spark Spark 源码

Expedia 开源针对 Kubernetes 工作负载的容器启动自动扩缩器(CSA)_后端_InfoQ精选文章