写点什么

万台集群性能优化方法——MaxCompute 性能优化实践

  • 2019-08-20
  • 本文字数:584 字

    阅读完需:约 2 分钟

万台集群性能优化方法——MaxCompute性能优化实践

QCon北京2018大会上,路璐讲师做了《万台集群性能优化方法——MaxCompute 性能优化实践》主题演讲,主要内容如下。


演讲简介


MaxCompute 是阿里巴巴自主研发的一站式大数据处理平台,承担着阿里巴巴集团 99%的存储和 95%的计算。


MaxCompute 平台机器规模达到十万级,数据规模达到 EB 级,每天有超过 300 万个作业在 MaxCompute 平台上运行。因此对 MaxCompute 平台进行性能优化是一项巨大的挑战,也关系到巨大的成本收益。


本次演讲将介绍 MaxCompute 如何通过一系列性能分析工具和数据分析方法诊断大规模集群的性能问题,并通过一些具体实例向大家介绍 MaxCompute 在性能优化方面的经验。


讲师介绍


路璐


阿里巴巴 计算平台事业部技术专家


路璐,阿里巴巴技术专家,目前主要专注 MaxCompute 性能优化,本科毕业于哈尔滨工业大学,研究生毕业于中国科技大学。


2010 年加入阿里巴巴 MaxCompute 的前身 ODPS 团队,见证了 MaxCompute 从跑通 hello world 到部署数万台机器规模、支撑起整个阿里巴巴大数据计算及公有云市场的整个过程。个人工作主要集中在 MaxCompute 的分布式计算、分布式存储、性能优化等领域,作为主要开发者完成 MaxCompute 第一代计算引擎。目前主要负责 MaxCompute 的软硬件性能优化,致力于将开源大数据平台、高性能基础库及新硬件的最新进展引入到 MaxCompute。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/beijing/schedule


2019-08-20 00:002865

评论

发布
暂无评论
发现更多内容

百度ERNIE新突破!登顶中文医疗信息处理权威榜单CBLUE冠军

百度大脑

人工智能

Rust 元宇宙 3 —— 进入和离开

Miracle

rust 元宇宙

不会用Camtasia的“库”,你可能错过了一个亿

淋雨

Camtasia

Rust 元宇宙 6 —— 显示世界

Miracle

rust SDL 元宇宙

网络监控原理

喀拉峻

网络安全 安全 网络

马云:“电子商务”将消失 新五通一平将引领未来

阿里技术

[干货] Weex在双11会场的大规模应用:业务支撑、稳定性保障和秒开实战

阿里技术

阿里巴巴Aliware十年微服务架构演进历程中的挑战与实践

阿里技术

使用redis生成唯一编号

喵叔

11月日更

普华永道:阿里巴巴研发投入领跑中国上市公司

阿里技术

2016年双11:新技术、新能源的第一战场

阿里技术

新零售时代的双11移动技术亮剑 ——2016年阿里移动平台新技术解读

阿里技术

Apache再次接受阿里开源产品捐赠 移动开发框架Weex进入孵化

阿里技术

你需要用战略耐心实现职业目标

石云升

读书笔记 11月日更

[干货]语音技术最新进展-Interspeech总结

阿里技术

Rust 元宇宙 1 —— 创世纪

Miracle

rust 元宇宙

最前沿人工智能,助力双11搜索推荐技术再升级——深度增强学习大规模在线应用

阿里技术

超强实时跟踪系统首次开源!支持跨镜头、多类别、小目标跟踪!

百度大脑

人工智能 人工智能摄像头

阿里研究员毕玄谈应用运维体系的变迁,DevOPS是大势所趋

阿里技术

应运而生! 双11当天处理数据5PB—HiStore助力打造全球最大列存储数据库

阿里技术

天猫技术全面打造『身临其境』的消费者交互体验

阿里技术

王坚:世界上最遥远的距离是红绿灯与交通监控摄像头的距离

阿里技术

Rust 元宇宙 4 —— 让世界动起来

Miracle

rust 元宇宙

直播预告丨“Hello ArkUI:初识Slider组件(JS)”周三约起

HarmonyOS开发者

HarmonyOS

阿里巴巴服务网格技术三位一体战略背后的思考与实践

阿里巴巴云原生

阿里云 云原生 服务网格 三位一体

阿里CTO张建锋:一根高尔夫球杆背后的数据智能[演讲全文]

阿里技术

阿里巴巴数据中心获两项DCD大奖

阿里技术

Rust 元宇宙 2 — 邻居

Miracle

rust 元宇宙

阿里科学家凭集成学习技术获CIKM Cup竞赛冠军

阿里技术

当学霸们跑步的时候他们在跑什么

阿里技术

Rust 元宇宙 5 —— SDL2.0

Miracle

rust SDL 元宇宙

万台集群性能优化方法——MaxCompute性能优化实践_QCon_路璐_InfoQ精选文章