写点什么

Expedia 开源针对 Kubernetes 工作负载的容器启动自动扩缩器(CSA)

Claudio Masolo

  • 2024-05-28
    北京
  • 本文字数:1721 字

    阅读完需:约 6 分钟

大小:886.72K时长:05:02
Expedia 开源针对 Kubernetes 工作负载的容器启动自动扩缩器(CSA)

Expedia 的性能和可靠性团队最近 开源了 其 容器启动自动扩缩器(container-startup-autoscaler,CSA)。CSA 是一个 Kubernetes 控制器,利用 Pod 资源的原地资源更新(In-Place Update of Pod Resources)特性,在启动过程中基于用户定义的启动时 / 启动后配置动态调整容器的 CPU 和 / 或内存资源。


Pod 资源的原地资源更新特性自 Kubernetes 1.27.0 进入 alpha 状态。该功能能够修改 Pod 资源(请求和限制),而无需重启 Pod。在此之前,对 Pod 的所有调整都必须重启 Pod 才能实现。


在 Kubernetes 工作负载的管理中,有一个长期存在的问题,那就是如何优化容器资源,以便于适应在启动阶段和启动后阶段展现出截然不同资源使用模式的工作负载。在原地资源更新特性引入之前,在启动密集型工作负载时,需要在实现一致的启动时间和尽量减少启动后资源浪费之间做出权衡:


  1. 突发的服务质量(Quality of Service,QoS):


a.设置高于请求的限制,在启动期间预留超出请求的资源

b.由于依赖于集群节点的负载情况,启动时间无法预测

c.启动后的性能也可能不稳定,原因在于额外回收(scavenged)资源的不确定性,尤其是在集群联合的机制中

2.确保 QoS(1):

a.建立与请求相等的限制,优先考虑启动时间

b.可预测的启动时间和启动后性能,但是可能会造成浪费,尤其是在 Pod 副本数量过多的情况下

3.确保 QoS(2):

a.设置与请求相等的限制,强调正常工作负载服务的性能

b.可预测和可接受的启动后性能,但代价是启动时间较慢,从而会延长部署的持续时间和水平扩展的反应时间,影响运行效率


容器启动自动扩缩器(CSA)在 Pod 级别运行。它与各种工作负载管理 API(如 Deployments、StatefulSets 和 DaemonSets)集成,确保不同 Pod 管理方法之间的兼容性。它既支持初始的容器启动,也支持 Kubernetes 启动的重启操作。


CSA 的逻辑模式


CSA 可关注 Pod 中的单个 non-init/ephemeral 容器。目标容器的名称和所需的启动时 / 启动后资源配置等细节信息都封装在特定 Pod 的注解中。


CSA 在监控要用于扩展的 Pod(通过标签识别)时,会对这些 Pod 中的变化做出响应。当探测出符合条件的 Pod 发生变化,CSA 就会评估目标容器的当前状态,并根据其状态执行如下所示的某个操作:


  1. 命令其执行启动资源设置(当目标容器处于非活动状态,并且已经应用过了启动后设置)

  2. 命令其执行启动后资源设置(当目标容器处于活动状态,并且已经应用过了启动期设置)

  3. 评估先前执行的缩放命令的状态并生成相应报告。确认成功的缩放已执行。


CSA 会在其 Pod 创建目标容器时以及 Kubernetes 重新启动目标容器时进行干预。CSA 在不必要时会避免执行扩缩操作。例如,如果目标容器在准备就绪前反复启动失败(促使 Kubernetes 以 CrashLoopBackOff 的方式重新启动),在这种情况下,CSA 只会应用一次启动资源。此外,CSA 还会生成度量指标、Kubernetes Pod 事件和详细的状态更新,所有的这些内容都会纳入到扩展的 Pod 注解中。


CSA 有一些限制:


  • 最初声明的目标资源必须得到保证(请求 == 限制),以便于符合启动资源能够得到保证的特点。当前的 Kube API 拒绝改变资源的服务质量(QoS)。随着 Pod 资源原地更新特性的发展,这一限制应该会得到解决。

  • 如上所述,启动后的资源也必须得到保证(请求 == 限制),以便于符合启动资源能够得到保证的特点。

  • 缩放目标容器尝试失败后不会进行重试。


CSA 的主要目标是让 Kubernetes 工作负载管理员在启动过程中精细调整容器资源,而不必在启动后进行资源配置,从而减少相关的权衡。这种方法有助于实现如下目标:


  1. 通过分离启动阶段和启动后阶段的资源设置,减少资源浪费。

  2. 提高启动性能和可预测性,实现更快的横向扩展操作。


到 Kubernetes 1.29 为止,CSA 所依赖的 Pod 资源原地更新特性还处于 alpha 阶段。因此,CSA 功能需要启用 InPlacePodVerticalScaling 特性门控(feature gate)。鉴于该特性和 CSA 实现都在持续开发中,建议谨慎使用。在达到稳定状态之前,Expedia 团队建议仅将 CSA 用于本地或非生产 Kubernetes 环境中进行预览。


查看英文原文:


Expedia Opensourced Its Container-Startup-Autoscaler (CSA) for Kubernetes Workloads (https://www.infoq.com/news/2024/04/expedia-startup-autoscaler/)


声明:本文为 InfoQ 翻译,未经许可禁止转载。

2024-05-28 14:413733

评论

发布
暂无评论
发现更多内容

TableAgent:首个国产可私有部署的企业级Code Interpreter

九章云极DataCanvas

“通识+产业”大模型,“Alaya元识”的赋能路径

九章云极DataCanvas

月薪两万,大厂疯抢AI数据标注员

自象限

大模型

程序员的护城河是什么 ?

代码生成器研究

一切为了应用!九章云极DataCanvas大模型系列成果重磅发布!

九章云极DataCanvas

在线协作新选择!5款风靡全球的白板软件盘点。

彭宏豪95

职场 科技 在线白板 在线协作 效率软件

程序员,你会尝试一门新的编程语言吗?

代码生成器研究

编程需要天分吗?

代码生成器研究

渗透率不到5%,低代码怎么就不受企业待见

代码生成器研究

【重磅合作】九章云极DataCanvas公司与生态伙伴强强联手,构建人工智能强生态!

九章云极DataCanvas

Raft理论篇

Geek_44385e

PingCAP 荣获亚马逊云科技 2023 年度合作伙伴奖项

编程猫

一款LED段码显示屏驱动芯片方案

芯动大师

华为全屋智能5.0,无为而“智”

脑极体

AI

gRPC C++快速编译与上手

王玉川

c++ gRPC 进程通信 Protocol Buffers

KaiwuDB 亮相中国国际供应链促进博览会

KaiwuDB

KaiwuDB 中国国际供应链促进博览会

瑞云科技参与《数字孪生世界白皮书》编写,实时云渲染助力数字孪生

3DCAT实时渲染

数字孪生 云渲染 实时渲染

SQL HAVING 子句详解:在 GROUP BY 中更灵活的条件筛选

小万哥

MySQL 数据库 程序员 sql 后端开发

滴滴、阿里云、语雀相继宕机,损失巨大,软件的高可用失效了么?

极狐GitLab

阿里云 高可用 滴滴 geo

8个程序员常用的开发工具,各位老铁请收好!

伤感汤姆布利柏

低代码 开发工具

探索DevOps文化

FunTester

探索低代码之路

互联网工科生

软件开发 低代码 JNPF

视频素材传输慢?大文件传输软件一步到位

镭速

大文件传输 大文件传输软件

低代码技术之争:表单驱动和模型驱动,谁更能代表未来的方向?

代码生成器研究

教育行业如何用技术推动用户增长

Onegun

小程序 在线教育 在线学习

低代码开发前景如何,大家都真的看好低代码开发么?

代码生成器研究

Whimsical:在线协作必备工具!一文弄懂功能 | 使用场景 | 优势 | 替代软件推荐

彭宏豪95

效率工具 科技 在线白板 办公软件 在线协作

CI/CD 最佳实践,让研发团队效率起飞!

极狐GitLab

DevOps 敏捷开发 持续集成 CI/CD 持续交付

编程到底难在哪里?

代码生成器研究

Expedia 开源针对 Kubernetes 工作负载的容器启动自动扩缩器(CSA)_后端_InfoQ精选文章