NVIDIA 初创加速计划,免费加速您的创业启动 了解详情
写点什么

万台集群性能优化方法——MaxCompute 性能优化实践

  • 2019-08-20
  • 本文字数:584 字

    阅读完需:约 2 分钟

万台集群性能优化方法——MaxCompute性能优化实践

QCon北京2018大会上,路璐讲师做了《万台集群性能优化方法——MaxCompute 性能优化实践》主题演讲,主要内容如下。


演讲简介


MaxCompute 是阿里巴巴自主研发的一站式大数据处理平台,承担着阿里巴巴集团 99%的存储和 95%的计算。


MaxCompute 平台机器规模达到十万级,数据规模达到 EB 级,每天有超过 300 万个作业在 MaxCompute 平台上运行。因此对 MaxCompute 平台进行性能优化是一项巨大的挑战,也关系到巨大的成本收益。


本次演讲将介绍 MaxCompute 如何通过一系列性能分析工具和数据分析方法诊断大规模集群的性能问题,并通过一些具体实例向大家介绍 MaxCompute 在性能优化方面的经验。


讲师介绍


路璐


阿里巴巴 计算平台事业部技术专家


路璐,阿里巴巴技术专家,目前主要专注 MaxCompute 性能优化,本科毕业于哈尔滨工业大学,研究生毕业于中国科技大学。


2010 年加入阿里巴巴 MaxCompute 的前身 ODPS 团队,见证了 MaxCompute 从跑通 hello world 到部署数万台机器规模、支撑起整个阿里巴巴大数据计算及公有云市场的整个过程。个人工作主要集中在 MaxCompute 的分布式计算、分布式存储、性能优化等领域,作为主要开发者完成 MaxCompute 第一代计算引擎。目前主要负责 MaxCompute 的软硬件性能优化,致力于将开源大数据平台、高性能基础库及新硬件的最新进展引入到 MaxCompute。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/beijing/schedule


2019-08-20 00:002532

评论

发布
暂无评论
发现更多内容

CloudQuery,数据库管理用它就够了!

BinTools图尔兹

数据库 sql 安全 工具软件

重新学习面向对象设计之开放-封闭原则

IT老兵重开始

面向对象设计 OCP 开闭原则

技术解读丨GaussDB数仓高可用容灾利器之逻辑备份

华为云开发者联盟

数据 容灾 备份

基于Flink+ClickHouse打造轻量级点击流实时数仓

Apache Flink

flink

优质数据库管理工具盘点,看看这三个软件的区别

BinTools图尔兹

数据库 sql 云原生 工具 编辑器

Java-技术专题-Pattern类与Matcher类详解

洛神灬殇

【高并发】面试官:讲讲高并发场景下如何优化加锁方式?

冰河

性能优化 高并发 线程安全 同步 加锁

华为程序员发现孩子不是自己的,怒提离婚!女方不要孩子!绿他的竟然是个酒吧混混!

程序员生活志

华为 程序员

SpringBoot-技术专题-多环境下maven打包

洛神灬殇

多种方式实现 LazyMan

局外人

大前端 队列 Promise

通过MapReduce降低服务响应时间

万俊峰Kevin

mapreduce Go 语言

spring-boot-route(十六)使用logback生产日志文件

Java旅途

Java Spring Boot logback

高难度对话读书笔记——表达自我

wo是一棵草

anyRTC直播带货解决方案

anyRTC开发者

音视频 WebRTC 直播 RTC

工作流引擎,企业运作加速器

Marilyn

敏捷开发 工作流 快速开发

一文带你了解文字识别

华为云开发者联盟

技术 识别 文字

每个数据科学家都应该知道的5个概念

计算机与AI

学习 数据科学

媒介狂想曲

善宝橘

媒介 想象

软件测试人员的职业发展之路

BY林子

软件测试 QA 职业发展

为什么学Go(二)

soolaugust

Go 语言

如何优化多表查询情况下的查询性能问题

迹_Jason

数据库设计 架构设计 查询优化 数据优化

十年Java开发经验,走了五年弯路,整理了一份Java架构师进阶路线及进阶资料!

Java架构之路

Java 程序员 面试 程序人生 编程语言

干掉PPT!现场编码的职级晋升答辩你参加过么?

华为云开发者联盟

软件 开发者 API

区块链来了 职业教育这么干

CECBC

区块链 职业教育

容器技术之发展简史

阿里云基础软件团队

云原生

比MySQL快839倍!揭开分析型数据库JCHDB的神秘面纱

京东科技开发者

数据库 JCHDB

SpringBoot-技术专题-Caffeine用法

洛神灬殇

血亏!阿里P8轻易把总结了近一年的java高级特性笔记送人了

996小迁

Java 学习 架构 笔记 Java高级特性

蚂蚁金服架构师分享一套内部Java并发编程进阶笔记,白嫖太香了

Java架构追梦

Java 学习 架构 面试 并发编程

Hive UDF/UDAF 总结

windism

路径依赖:穷人很难逆袭突破的科学道理

程序员陆通

程序人生 穷人 逆袭 突破

万台集群性能优化方法——MaxCompute性能优化实践_QCon_路璐_InfoQ精选文章