云上百万大数据任务的自动优化实践｜QCon 北京

2025 年 4 月 10 - 12 日，QCon 全球软件开发大会将汇聚全球 140+ 技术先行者及创新实践者，直击行业痛点，解锁可复制的经验与模式。这不仅是一场会议，更是一次对技术演进的集体探索。无论你是资深开发者，还是技术管理者，都能在这里有所收获，为下一步的技术决策提供方向。

贝联珠贯大数据技术负责人杨少华已确认出席并发表题为《云上百万大数据任务的自动优化实践》的主题分享。近年来降本增效成为许多公司技术团队的重要工作方向，特别是上云后，云的便利性同时带来云开支的不可控，如何有效控制云开支成为上云后大家需要面临的问题。而在 IT 成本组成上，大数据相关基础设施的成本占不小比例，不少公司甚至超过一半以上。本演讲将分享贝联珠贯在开源大数据平台成本优化方面的技术实践。通过大数据任务参数动态优化、自动引擎升级以及 SQL 优化等自动优化手段，对数十家客户超过百万的大数据任务进行优化，节省了超过 500TB 内存和 15 万 CPU 核的计算资源。

杨少华毕业于哈工大本科、中科院计算所博士，2009 年毕业后加入阿里云，是阿里大数据平台（ODPS/MaxCompute）的主要创始成员，负责过 SQL、MapReduce 和 Graph 等分布式计算引擎的研发，以及平台稳定性保障和对外生态与输出，曾负责把阿里大数据集群利用率提升至 70% 以上。 之后从阿里离开先后加入知名创业公司浙江执御和哈啰出行，分别负责数据平台和算法平台的研发工作，是前哈啰出行软件技术首席架构师。现为 Finops 领域领先的技术公司贝联珠贯的合伙人、大数据产品技术负责人。他在本次会议的详细演讲内容如下：

演讲提纲

1. 问题与背景

2. 云上大数据平台成本优化的技术挑战

3. 优化方案：大数据任务参数动态优化

4. 优化方案：自动引擎升级

5. 优化方案：自动 SQL 优化

6. 实践案例分享

7. 总结与展望

您认为，这样的技术在实践过程中有哪些痛点？

• 任务动态参数优化是一种基于历史数据的优化技术，适用于具有周期性的大数据任务（如天级/小时级任务），随机的 Adhoc 查询缺乏历史实例，则无法适用此项优化技术

• 客户对生产稳定性极为看重，优化实施过程中需要有一套稳定性保障机制，确保不因为优化实施导致任务异常

演讲亮点

• 优化收益明显，大部分实施案例可节省资源 30% 以上

• 全自动任务优化，极小人力投入成本

• 实施成本低，任务参数动态优化和自动引擎升级，零业务代码变更

听众收益

• 可以帮助相关从业人员了解或学习大数据平台成本优化的主要技术方案，并在日常工作中进行运用

除此之外，本次大会还策划了多模态大模型及应用、AI 驱动的工程生产力、面向 AI 的研发基础设施、不被 AI 取代的工程师、大模型赋能 AIOps、云成本优化、Lakehouse 架构演进、越挫越勇的大前端等专题，届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。

目前，所有大会演讲嘉宾已结集完毕，了解更多报名和详情信息可扫码或联系票务经理 18514549229 咨询。

为确保大会顺利举行，现诚邀志愿者加入，时长 3.5 天。可与大咖交流、获极客时间 VIP 月卡、大会演讲视频资源和证书。主办方提供午餐和交通支持。时间：4 月 9 日 13:00-4 月 12 日 18:00，地点：北京万达嘉华酒店，报名链接：https://www.infoq.cn/form/?id=2088