写点什么

从自动扩缩容到跨池调度:作业帮如何让 Flink 计算资源节省 30%?

  • 2026-11-16
    北京
  • 本文字数:7318 字

    阅读完需:约 24 分钟

AI摘要

实时作业面临动态负载与瓶颈迁移挑战,固定并行度难以兼顾资源效率与延迟稳定性;有状态作业扩缩容需协同任务重调度、状态恢复与资源回收;跨集群(常驻/K8s/Serverless/离线)弹性调度成为应对峰谷与热点的关键路径。

关键观点:有状态作业自动扩缩需解决状态一致性与资源释放同步问题;Pod 均匀分布不等于负载均衡,节点级热点需细粒度感知与调度干预;Serverless 与离线集群作为弹性缓冲层,需配套作业回迁与资源归还机制。

适合 Flink 平台工程师、实时计算架构师、云原生基础设施工程师阅读。

实时作业的负载很少一成不变。并行度按高峰配置,低峰时会有较多资源闲置;按日常负载配置,突发流量又可能很快推高积压和延迟;瓶颈也不总在同一个计算环节,有时出现在 Source,有时在中间算子,也可能在 Sink。流量和瓶颈都在变化,作业的并行度却停留在提交时的固定值。

我们最先想到的,是让作业根据负载自动调整并行度。但算出目标并行度,只是扩缩的起点。对有状态作业来说,调整并行度还涉及任务重新部署和状态恢复;并行度降下来以后,相应的计算资源也未必能同步释放。怎样让作业在新的并行度下恢复运行,并把多余的资源回收,成为自动扩缩落地时需要继续解决的问题。

以上调整主要发生在作业内部。我们的实时任务主要运行在 K8s 集群中,日常负载主要由常驻节点承载。多个作业共享这些节点时,写入量和数据分布的差异,会使各个 Pod 承担的处理量不同。即使 Pod 数量分布均匀,部分节点仍可能出现热点。热点节点上的资源竞争又会拖慢任务处理,单纯增加并行度,未必能缓解任务延迟。

当高峰负载超出常驻资源的承载能力时,可以借助公有云 Serverless 节点补充容量。实时与离线 K8s 集群错峰,晚高峰也可以利用离线 K8s 集群的空闲资源。高峰过后,Flink 常驻资源逐渐空闲,之前迁出的作业和残留在 Serverless 上的 Pod,也需要逐步回迁,归还高峰时借用的资源。

因此,除了让作业随负载自动扩缩,还需要通过重调度调整集群负载。作业内,需要解决目标并行度怎样计算、调整后怎样恢复状态,以及多余资源怎样释放;集群中,则需要考虑怎样疏解节点热点、分担高峰负载,并在低峰时完成回迁。下图展示了这些问题对应的处理环节,以及各组件之间的配合关系。

一、固定并行度为什么越来越难配

我们最初根据历史峰值配置并行度,并预留一定余量。当数据进入速率高于 Source 的消费速率时,差额就会形成积压(lag);超出的幅度和持续时间,共同决定积压规模。即使流量随后回落,作业仍要利用剩余处理能力消化这部分存量。因此,评估所需处理能力时,不能只看当前输入,还要考虑已有积压和期望的追平时间。

面对积压,增加 TaskManager Pod 可以补充计算资源,但各个计算环节的并发能力,还取决于对应 JobVertex 的并行度。并行度不变,新增 Slot 可能闲置;统一调高所有 JobVertex,又可能让并非瓶颈的环节一同扩容。因此,我们需要根据每个 JobVertex 的实际负载分别判断目标并行度,再提供相应的计算资源。

二、Autoscaler 怎样计算目标并行度

K8s HPA 可以调整 Pod 副本数量,但不会直接改变作业内各个 JobVertex 的并行度。负载判断也不能只看 CPU:下游反压可能让上游 CPU 使用率下降,Source lag 却仍在增长。因此,我们选择 Flink Kubernetes Operator 内置的 Autoscaler,根据 JobGraph 和 Flink 运行指标计算目标并行度。

这里的 JobVertex 以实际生成的 JobGraph 为准。启用 Operator Chaining 后,多个逻辑算子可能合并为同一个 JobVertex。Autoscaler 从 Source 端估算处理需求,将其沿拓扑传播,再结合各顶点的处理能力确定并行度。

从持续输入和积压估算处理需求

Source 的消费速率既受持续输入影响,也可能包含正在消化的历史积压。在 Source 提供有效消费计数和 lag 指标的前提下,Autoscaler 结合指标窗口内的消费记录数与 lag 变化,分别估算持续输入与积压追赶所需的速率:

Source 目标数据速率 = max(0, 窗口平均消费速率 + 窗口 lag 变化速率) Source 积压追赶速率 = 当前 lag / 期望追平时间(启用积压追赶时)

例如,Source 平均每秒消费 80 条数据,lag 每秒增加 20 条,说明上游每秒实际写入约 100 条。已经形成的积压则需要额外的处理能力,由积压追赶速率体现。

两类速率分别沿 JobGraph 传播。每条边的 output ratio 根据观测指标估算,表示上游每接收一条记录,大约有多少条进入对应的下游。传播时分别乘以这个比例,多输入时再将同类速率分别相加,过滤、聚合、分流等操作对数据量的影响也就进入了后续计算。

根据处理能力换算并行度

知道各个 JobVertex 的处理需求后,Autoscaler 还要估算它们在当前并行度下的满负载处理速率,即 TRUE_PROCESSING_RATE:

JobVertex 满负载处理速率 ≈ 窗口平均总输入速率 / 窗口平均 busy time 比例

busy time 默认在每次采集时取各 Subtask 的最大值,再在窗口内求平均,使数据倾斜造成的局部繁忙进入容量判断。Source 在满足条件时,还可结合消费速率和反压时间,用观测值修正这一估算。

随后,持续输入、已有积压以及扩缩恢复期间新增数据的处理需求,共同构成目标处理容量:

目标处理容量≈ 目标数据速率 / 目标利用率

+ 积压追赶速率

+ 重启追赶速率

目标利用率用于给持续输入保留余量;重启追赶速率则根据目标数据速率、估计恢复时长和期望追平时间,估算恢复后所需的额外处理能力。期望追平时间设为 0 时,两类追赶项均取 0。

将目标处理容量除以满负载处理速率,就得到所需的缩放比例。Autoscaler 先限制单次扩缩幅度,再乘以当前并行度并向上取整,随后结合配置边界和 Max Parallelism 调整结果。

计算出不同的目标值,也不意味着立即执行扩缩。如果所有候选顶点的处理能力仍处在目标利用率对应的允许范围内,本轮就保持当前并行度;需要调整时,还要通过扩缩开关和保护条件的检查。

这些计算最终给出一组 JobVertex 到目标并行度的映射。要让它真正生效,还需要把 Autoscaler 接入作业生命周期,并处理并行度改变后的任务重部署与状态恢复。

三、目标并行度怎样在作业中生效

让 Autoscaler 进入作业生命周期

并非所有 JobVertex 都适合自动调整并行度。对于需要保持固定并行度的算子,平台通过名称规则标识,Autoscaler 的排除配置接收的则是 Vertex ID。由于 Operator Chaining 可能改变逻辑算子与运行时顶点的对应关系,平台需要结合实际 JobGraph 确定排除范围。

为此,我们将接入分为提交期和运行期。提交时,平台写入 job.autoscaler.enabled=true 及静态参数,启用指标采集和计算;实际扩缩由 job.autoscaler.scaling.enabled 单独控制,在我们的 Operator 部署默认配置中先保持关闭。

作业进入 Running 后,平台根据名称规则匹配实际 JobGraph 中的 Vertex ID,在同一次配置更新中写入匹配到的 job.autoscaler.vertex.exclude.ids,并开启 job.autoscaler.scaling.enabled。没有匹配到排除项时,则只更新启用开关。若更新失败,平台保留未完成状态,在后续检查中继续重试。

通过原地扩缩应用并行度

如果一次并行度调整需要重建整套作业 Pod,新 Pod 就要重新参与 K8s 调度,原有的节点分布也可能改变。这样,作业内的扩缩还可能带来节点间的负载迁移,引起节点负载震荡。

因此,我们采用 in-place 原地扩缩,复用已有的 JobManager(JM)和 TaskManager(TM)进程及 Pod,既减少重建开销,也减小扩缩对节点负载分布的扰动。Operator 通过 Job Resource Requirements REST API 更新各个 JobVertex 的并行度范围,再由 Adaptive Scheduler 根据资源要求和可用 Slot 确定实际并行度。

原地扩缩仍会触发作业内的重启:Adaptive Scheduler 取消旧的 ExecutionGraph,再按新的并行度重建执行图。对于有状态任务,Flink 复用 JobManager 中保留的 checkpoint 管理信息,优先使用最近一次可用的 checkpoint,重新分配算子状态并部署 Task。

扩容时,如果现有 Slot 不足,仍可能申请新的 TaskManager;缩容后,多余 TaskManager 则需要满足空闲回收条件才能释放。

四、并行度降下来了,资源为什么还没释放

在基于 Flink 1.19.1 落地原地扩缩时,我们发现,作业已经按较低的并行度恢复运行,TM Pod 数量却可能保持不变。例如,一个 JobVertex 的并行度从 6 降到 4 后,剩余的 Subtask 仍可能分布在三个 TM Pod 上,无法直接回收其中任何一个。问题出在 Slot 分配上:原有逻辑没有优先把剩余任务集中到更少的 TM 上,空闲资源因而分散在不同的 Pod 中。

社区后续通过 FLINK-33977 引入了最少 TM 策略,并在 Flink 1.19.3 等版本中提供修复。我们将相关修复回补到使用的 1.19.1 分支,并在 Application 模式的作业中开启这项策略。缩容时,调度器优先选择空闲 Slot 较多的 TM,尽量把任务集中起来,让其他 TM 有机会完全空闲并被回收。

要让聚拢策略在缩容时生效,还需要修正 Slot 分配器的选择。Flink 1.19.1 在存在历史分配记录时,会使用 StateLocalitySlotAssigner,即使未开启本地恢复,也会绕过 DefaultSlotAssigner 中的聚拢逻辑。我们同步回补了 FLINK-36201,改为只有开启本地恢复且存在历史分配记录时才选择 StateLocalitySlotAssigner,其余情况使用 DefaultSlotAssigner。

在最少 TM 策略之上,我们又增加了“最旧 TM 优先”:当多个 TM 的可用 Slot 数量相同时,优先选择较早创建的 TM,让较新的 TM 更有机会在缩容后完全空闲。常驻资源不足时,扩容新增的 TM 可能被调度到 Serverless。如果这些 TM 能在正常缩容过程中空闲,并在满足回收条件后释放,就可以减少后续驱逐回迁带来的扰动。

资源回收还依赖 ResourceManager 对 Slot 数量的正确统计。在部分故障恢复场景中,TM 重新注册时的 SlotReport 可能包含多于配置数量的 Slot 信息。ResourceManager 原先直接根据 SlotReport 中的 Slot 数量进行资源计算,可能因此额外申请 TM,或无法释放已经空闲的 TM。我们回补了 FLINK-37813,让 TM 在注册时明确上报配置的 Slot 数量,用于后续的资源申请和回收计算。ResourceManager 在空闲超时与资源保留条件满足后,才会释放对应的 TM Pod。

五、怎样减少扩缩对作业运行的影响

减少扩缩震荡

在实际运行中,部分作业扩缩过于频繁。每次调整都伴随着 Task 重新部署和状态恢复,反复打断正常的数据处理,影响作业的运行稳定性。

对于存在数据倾斜的作业,单次缩容幅度尤其需要控制。Autoscaler 默认采用各 Subtask 中最大的 busy time 参与负载评估,但这些指标描述的是当前并行度下的处理情况。缩容后,数据会重新分配到更少的 Subtask 上,热点可能进一步集中,使部分 Subtask 再次成为瓶颈。等新的指标窗口收满,Autoscaler 根据调整后的负载重新评估,就可能再次给出扩容结果。

单次缩容幅度之外,还需要限制低峰期的缩容范围。Autoscaler 的并行度下界默认为 1,因此我们以作业此前稳定运行时的静态并行度 P 作为容量参考,在接入时显式设置并行度上下界。设 S 为相对这条基线允许降低的最大并行度比例,可以采用以下配置:

并行度上界 = P 并行度下界 = ceil(P × (1 - S))

上界保留恢复到原有容量的空间,下界则限制低峰期的缩容范围,避免降到未经验证的过低并行度。这些配置需要结合后续运行情况调整,尤其在业务负载发生变化时,应重新评估原有容量是否仍然适用。

边界确定以后,还需要控制每次缩容的幅度。Task 恢复后,作业继续处理数据;Autoscaler 则要等稳定间隔结束并收满新的指标窗口,才能再次决定是否调整。因此,缩容步长过小会拉长资源回收过程,过大又容易使负载分布发生明显变化。配置缩容步长时,若希望分 N 轮逐步降低 S 比例的并行度,可以用下面的关系估算单次缩容比例:

单次缩容比例 f = 1 - (1 - S)^(1 / N)

这一估算用于配置单次缩容幅度的上限,运行中是否继续缩容仍由新的负载指标决定,实际并行度还受取整和其他约束影响。具体调参时,数据倾斜越明显,缩容步长就越需要保守;扩容则保留相对更大的调整幅度,优先补足处理能力。低峰期的资源释放因此会慢一些,但可以降低大幅调整带来的运行扰动。

处理 Task 重启的副作用

Task 重启还暴露了内部自定义 Flink metrics reporter 中的一处慢性内存泄漏:旧 Task 的部分指标没有正确注销,相关对象仍被引用。由于 in-place 会复用 TM 进程,这些对象可能随着多次扩缩逐渐积累。我们修复了指标注销和替换逻辑,使旧指标的引用能够及时释放。

写入 Iceberg 的作业则可能在重启后留下孤儿文件。这些文件已经写入存储,却未被表元数据引用,作业恢复运行后仍会占用存储空间。我们通过元数据清理这部分文件,避免长期积累。

六、作业能扩缩,集群为什么还需要重调度

不同作业的写入量不同,同一作业内也可能存在数据倾斜,各个 Pod 承担的实际处理量并不相同。即使 Pod 数量分布均匀,承载了较多高负载 Pod 的节点仍可能形成热点。热点节点上的 CPU 资源竞争还会拖慢 Task 的处理速度,使作业积压增多、消费延迟上升。

Autoscaler 调整的是各个 JobVertex 的并行度,不会主动迁出热点节点上已有的 Pod。我们因此引入 Crane 水位控制:新建或重建的 Pod 避开超过调度水位的常驻节点;节点负载超过驱逐水位且满足其他驱逐条件时,则选择 Pod 进行驱逐。驱逐过程中,Crane 根据已驱逐 Pod 的负载估算节点剩余负载,并在估算值降至停止驱逐水位后结束本轮对该节点的驱逐。

Crane 以 Pod 为单位进行驱逐,候选选择还受优先级、QoS 等条件约束,CPU 使用量并不是唯一依据。实际运行中,我们遇到了驱逐震荡:高负载 Pod 重建后,如果接收节点的负载再次超过驱逐水位,就可能继续触发驱逐。与此同时,同一作业的多个 Pod 被陆续迁移,也可能让作业反复经历 Task 恢复。

为了尽快削减热点,并减少同一作业在多轮驱逐中反复恢复,我们补充了任务级 Descheduler。它汇总各个作业在热点节点上的 CPU 使用量,优先选择对热点负载贡献较大的作业,以整任务为单位进行重调度。

选出需要调整的作业后,Descheduler 会结合整个作业的 CPU 使用量和常驻资源池中可接收 Pod 的节点负载,在预留一定余量的基础上,估算作业重新分布后的水位。如果预计节点负载不超过调度水位,就在常驻资源池内重平衡;否则,将作业的计算负载迁往 Serverless。目标资源池确定后,Descheduler 通过实时计算平台更新部署配置并重新部署作业,完成重调度。

除了根据实际负载处理热点,我们还会针对作业帮每天较为固定的晚高峰,按预设名单定时将部分高负载作业分流到 Serverless 或离线 K8s 集群。实时业务的高峰主要集中在 18:00–22:00,离线业务则主要在次日 00:00–05:00 进入高峰。两者在时间上完全错开,离线集群在实时晚高峰期间的空闲资源,正好可以分担常驻资源池的压力。而节假日和周日的实时高峰可能提前至上午,单靠晚间的分流调度无法覆盖这些变化,因此仍需要负载感知策略根据节点实际水位处理热点。

高峰期间,如果 Descheduler 自身发生故障,原本需要迁出的负载就可能继续留在常驻资源池。我们通过 Kubernetes Lease 实现主备协调,由持有有效租约的主实例执行调度,并将正在处理的作业记录在共享 configMap 中。备实例接管后,先核对这些作业在平台中的实际状态,按当前配置尝试恢复运行,再继续调度。

高峰期间,作业扩缩、节点水位控制和整任务重调度共同应对负载变化,各组件与资源池之间的关系如下图所示。

七、高峰过后,任务和 Pod 怎样回迁

高峰过去后,常驻资源池逐渐腾出余量,之前借用的资源也需要逐步归还。缩容能够释放完全空闲的 TM,但部分 Serverless TM 可能仍承载着 Task,不会随之退出;主动迁往 Serverless 或离线 K8s 集群的作业,也需要在高峰结束后迁回。因此,降低并行度之外,还需要处理这些作业和 Pod 的回迁。

回迁同样由 Descheduler 发起,通过实时计算平台执行。对于整任务迁出的作业,重调度时调整部署配置并重新部署,使其回到常驻资源池;对于扩容或 Pod 重建后留在 Serverless 上的 Pod,则由平台完成内存预检、驱逐和恢复确认。主动迁往 Serverless 的作业会添加 Pod 回迁豁免标记,避免高峰期间被提前迁回,影响负载分流。

平台在生成 Pod 回迁计划前,会先进行内存预检:根据符合条件的常驻节点的可分配内存及容量配置,扣除已有 Pod 的内存 requests,再预留一定余量,得到本轮可用于回迁的内存预算。除了检查待迁 Pod 的总内存需求,还会检查单个节点的剩余内存预算能否容纳其中最大的 Pod,避免只看集群总量而忽略节点间的容量分布。每纳入一个作业的回迁计划,就从本轮预算中扣除相应需求,控制同一轮的回迁规模。

通过内存预检后,平台驱逐目标 Pod,触发重建和重新调度。如果一个作业的 TM 和 JM 都需要回迁,就先处理 TM,待作业恢复稳定后,再处理 JM,分阶段完成回迁。如果只需回迁其中一类 Pod,则跳过另一类的处理阶段。

驱逐请求被接受后,平台还会持续检查作业及其 Task 是否恢复运行、当前阶段涉及的 Pod 是否已离开 Serverless。只有这些条件持续满足,且观察窗口内 Job ID 保持不变,才继续下一阶段或结束回迁;若驱逐失败或恢复超时,则停止推进后续阶段。

Descheduler 与实时计算平台配合完成回迁,具体过程如下图所示。

八、弹性带来的变化

从实际运行结果看,相较此前的固定并行度配置,接入 Autoscaler 的作业节省了约 30% 的计算资源。重调度还缓解了热点节点上的 CPU 资源竞争,改善了作业的处理速度和消费延迟,也减少了为弥补处理效率下降而持续增高的并行度。

这一过程中也存在一些取舍。缩容步长收紧后,闲置资源释放得慢一些,但可以降低大幅调整后局部过载、再次扩容的风险。热点处理则优先采用整任务迁移,尽快降低热点节点的压力,同时也会迁走同一作业分布在非热点节点上的负载。尤其迁往 Serverless 时,部分原本可以留在常驻资源池中的负载也随之迁出,这是现阶段为快速削减热点付出的资源效率代价。

后续除了继续扩大作业接入范围,我们也会评估 Operator 升级,重点关注减少反复恢复和额外并行度的改进。

Operator 1.10 引入了延迟缩容。相比我们当前使用的 1.9 分支,它可以在产生缩容建议后先等待一段时间,再决定是否执行。在 1.16 的实现中,等待期结束后会采用最近这段时间内最大的推荐并行度,避免一次短暂的负载下降把缩容目标拉得过低;扩容则不受这段等待期限制。这为减少部分不必要的缩容提供了另一种手段,可以与现有的并行度边界、单次调整幅度配合使用。

另一个值得关注的变化是并行度对齐。当前实现会尝试将目标并行度调整到 Max Parallelism 的因子,以便均匀分配 Key Group,但这也可能增加真正所需的并行度。Operator 1.16 新增的 BALANCED 策略允许一定程度的分配不均,减少对齐带来的额外并行度。例如,在 128 个 Key Group、计算目标为 24 的情况下,原来的因子对齐会取到 32,而新策略可以取到 26。这类改进与资源节省直接相关。