万台集群性能优化方法——MaxCompute 性能优化实践

阅读数:1838 2019 年 8 月 20 日 00:00

万台集群性能优化方法——MaxCompute性能优化实践

QCon 北京 2018 大会上,路璐讲师做了《万台集群性能优化方法——MaxCompute 性能优化实践》主题演讲,主要内容如下。

演讲简介

MaxCompute 是阿里巴巴自主研发的一站式大数据处理平台,承担着阿里巴巴集团 99% 的存储和 95% 的计算。

MaxCompute 平台机器规模达到十万级,数据规模达到 EB 级,每天有超过 300 万个作业在 MaxCompute 平台上运行。因此对 MaxCompute 平台进行性能优化是一项巨大的挑战,也关系到巨大的成本收益。

本次演讲将介绍 MaxCompute 如何通过一系列性能分析工具和数据分析方法诊断大规模集群的性能问题,并通过一些具体实例向大家介绍 MaxCompute 在性能优化方面的经验。

讲师介绍

路璐

阿里巴巴 计算平台事业部技术专家

路璐,阿里巴巴技术专家,目前主要专注 MaxCompute 性能优化,本科毕业于哈尔滨工业大学,研究生毕业于中国科技大学。

2010 年加入阿里巴巴 MaxCompute 的前身 ODPS 团队,见证了 MaxCompute 从跑通 hello world 到部署数万台机器规模、支撑起整个阿里巴巴大数据计算及公有云市场的整个过程。个人工作主要集中在 MaxCompute 的分布式计算、分布式存储、性能优化等领域,作为主要开发者完成 MaxCompute 第一代计算引擎。目前主要负责 MaxCompute 的软硬件性能优化,致力于将开源大数据平台、高性能基础库及新硬件的最新进展引入到 MaxCompute。

万台集群性能优化方法——MaxCompute性能优化实践

万台集群性能优化方法——MaxCompute性能优化实践

万台集群性能优化方法——MaxCompute性能优化实践

万台集群性能优化方法——MaxCompute性能优化实践

万台集群性能优化方法——MaxCompute性能优化实践

万台集群性能优化方法——MaxCompute性能优化实践

万台集群性能优化方法——MaxCompute性能优化实践

万台集群性能优化方法——MaxCompute性能优化实践

万台集群性能优化方法——MaxCompute性能优化实践

万台集群性能优化方法——MaxCompute性能优化实践

完整演讲 PPT 下载链接

https://qcon.infoq.cn/2018/beijing/schedule

评论

发布