写点什么

万台集群性能优化方法——MaxCompute 性能优化实践

  • 2019-08-20
  • 本文字数:584 字

    阅读完需:约 2 分钟

万台集群性能优化方法——MaxCompute性能优化实践

QCon北京2018大会上,路璐讲师做了《万台集群性能优化方法——MaxCompute 性能优化实践》主题演讲,主要内容如下。


演讲简介


MaxCompute 是阿里巴巴自主研发的一站式大数据处理平台,承担着阿里巴巴集团 99%的存储和 95%的计算。


MaxCompute 平台机器规模达到十万级,数据规模达到 EB 级,每天有超过 300 万个作业在 MaxCompute 平台上运行。因此对 MaxCompute 平台进行性能优化是一项巨大的挑战,也关系到巨大的成本收益。


本次演讲将介绍 MaxCompute 如何通过一系列性能分析工具和数据分析方法诊断大规模集群的性能问题,并通过一些具体实例向大家介绍 MaxCompute 在性能优化方面的经验。


讲师介绍


路璐


阿里巴巴 计算平台事业部技术专家


路璐,阿里巴巴技术专家,目前主要专注 MaxCompute 性能优化,本科毕业于哈尔滨工业大学,研究生毕业于中国科技大学。


2010 年加入阿里巴巴 MaxCompute 的前身 ODPS 团队,见证了 MaxCompute 从跑通 hello world 到部署数万台机器规模、支撑起整个阿里巴巴大数据计算及公有云市场的整个过程。个人工作主要集中在 MaxCompute 的分布式计算、分布式存储、性能优化等领域,作为主要开发者完成 MaxCompute 第一代计算引擎。目前主要负责 MaxCompute 的软硬件性能优化,致力于将开源大数据平台、高性能基础库及新硬件的最新进展引入到 MaxCompute。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/beijing/schedule


2019-08-20 00:002842

评论

发布
暂无评论
发现更多内容

玩转混合加密 | 精美配图

阿宝哥

安全 加密解密 数据加密

记一次bem命名规范使用优化方案

前端有的玩

Vue npm React bem

Spring Security入门到实践(一)HTTP Basic在Spring Security中的应用原理浅析

itlemon

源码分析 spring security

架构师训练营 - 命题作业 第 7 周

铁血杰克

架构师训练营第7周作业

时来运转

JVM 对象内存布局

Alex🐒

JVM 深入理解JVM

并发必备基础知识汇总

itlemon

并发 基础

JVM 垃圾回收器 G1

Alex🐒

JVM 深入理解JVM GC

彻底弄懂C++11右值引用 | 技术总结

chaozh

c++

程序员面试必备战衣 | T恤衫 - 程序员穿搭

chaozh

GEEK

【干货分享】通过命令操作来学习Git

itlemon

git git入门

JVM 类加载机制

Alex🐒

JVM 深入理解JVM

优雅地利用c++编程从1乘到20 | 技术总结

chaozh

c++

深入Java Web技术内幕(一)浅析Web请求过程

itlemon

Java

【译文】创建 Kubernetes manifest 的初学者指南

FeiLong

Kubernetes

JVM 运行时数据区

Alex🐒

JVM 深入理解JVM

Flask 中的 Sessions

Leetao

Python flask Web框架

Ubuntu 20.04 上安装和配置 VNC

酱紫的小白兔

压测工具如何选择?

elfkingw

架构师训练营第七周作业-性能测试

sunnywhy

创世 | 中国古神话

chaozh

神话

女娲造物与补天 | 中国古神话

chaozh

神国统治者 | 中国古神话

chaozh

【数据结构】Java 常用集合类 PriorityQueue

Alex🐒

Java 源码 数据结构

深入 Java Web 技术内幕(二)浅析DNS域名解析过程

itlemon

DNS 域名解析

如何挑选编程笔记本 | 数码产品

chaozh

【数据结构】Java 常用集合类 ArrayDeque

Alex🐒

Java 源码 数据结构

Java并行程序基础

itlemon

Java 高并发 并行

JVM 垃圾回收器 CMS

Alex🐒

JVM 深入理解JVM GC

架构师训练营第7周总结

时来运转

JVM 垃圾回收机制

Alex🐒

JVM 深入理解JVM

万台集群性能优化方法——MaxCompute性能优化实践_QCon_路璐_InfoQ精选文章