发布在即!企业 AIGC 应用程度测评,3 步定制专属评估报告。抢首批测评权益>>> 了解详情
写点什么

万台集群性能优化方法——MaxCompute 性能优化实践

  • 2019-08-20
  • 本文字数:584 字

    阅读完需:约 2 分钟

万台集群性能优化方法——MaxCompute性能优化实践

QCon北京2018大会上,路璐讲师做了《万台集群性能优化方法——MaxCompute 性能优化实践》主题演讲,主要内容如下。


演讲简介


MaxCompute 是阿里巴巴自主研发的一站式大数据处理平台,承担着阿里巴巴集团 99%的存储和 95%的计算。


MaxCompute 平台机器规模达到十万级,数据规模达到 EB 级,每天有超过 300 万个作业在 MaxCompute 平台上运行。因此对 MaxCompute 平台进行性能优化是一项巨大的挑战,也关系到巨大的成本收益。


本次演讲将介绍 MaxCompute 如何通过一系列性能分析工具和数据分析方法诊断大规模集群的性能问题,并通过一些具体实例向大家介绍 MaxCompute 在性能优化方面的经验。


讲师介绍


路璐


阿里巴巴 计算平台事业部技术专家


路璐,阿里巴巴技术专家,目前主要专注 MaxCompute 性能优化,本科毕业于哈尔滨工业大学,研究生毕业于中国科技大学。


2010 年加入阿里巴巴 MaxCompute 的前身 ODPS 团队,见证了 MaxCompute 从跑通 hello world 到部署数万台机器规模、支撑起整个阿里巴巴大数据计算及公有云市场的整个过程。个人工作主要集中在 MaxCompute 的分布式计算、分布式存储、性能优化等领域,作为主要开发者完成 MaxCompute 第一代计算引擎。目前主要负责 MaxCompute 的软硬件性能优化,致力于将开源大数据平台、高性能基础库及新硬件的最新进展引入到 MaxCompute。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/beijing/schedule


2019-08-20 00:002519

评论

发布
暂无评论
发现更多内容

IP 基础知识全家桶,45 张图一套带走

小林coding

计算机网络 计算机基础 IP

知乎Matisse图片库在Android10上拍照,预览问题

三爻

android

月薪 3W 的 Apple 微信编辑是这么发文章的 |如何发类似 Apple 微信公众号的文章效果

陈东泽 EuryChen

CSS 微信 大前端 apple 微信公众号

ZooKeeper 数据模型:节点的特性与应用

CoderLi

zookeeper 源码分析 数据模型 节点

JAVA 中的 CAS

犀利豆

Java 并发 CAS

华硕灵珑II笔记本电脑——自由work不设限

最新动态

原创 | TDD工具集:JUnit、AssertJ和Mockito (二十一)编写测试-测试模板

编程道与术

Java 编程 TDD 单元测试 JUNI

副业月赚 10 万的程序员是如何做销售的?

非著名程序员

程序员 独立开发者 程序人生 提升认知

iPad配置OpenVPN客户端

wong

ipad OpenVPN

kubernetes简单入门(多图少字版)

绿星雪碧

Kubernetes 入门

中电标协提出并归口:《政务APP评价指标》团体标准开启制订工作

博睿数据

App 标准化 中电标协 政务信息化 博睿宏远

架构师训练营学习总结——框架设计【第二周】

王海

极客大学架构师训练营

自由是不是随心所欲?

Neco.W

个人成长 自由 控制

原创下载 | TDD工具集原创开源代码免费下载!

编程道与术

Java 开源 TDD 下载 代码

小师妹学JavaIO之:MappedByteBuffer多大的文件我都装得下

程序那些事

Java io nio 小师妹 buffer

面向对象的三个基本特征(要素)

彭阿三

三要素 三个基本特征 封装、继承、多态

架构师训练营作业(第二周)

王海

极客大学架构师训练营

2020年5月云主机性能评测报告

博睿数据

云计算 服务器 公有云 机房 云主机

Zookeeper Watcher 流程分析(结合源码)

CoderLi

Java zookeeper 源码分析 后端 Watcher

Zookeeper-Access Control List(ACL)

CoderLi

Java zookeeper 源码分析 后端

钩陈/ 好中文作业:巴别塔

ZoomQuiet大妈

写作 大妈 是也乎 IMHO 蟒营®

机器学习算法评估指标—2D语义分割

做技术BP的文案Gou

学习 2D 评估标准 语义分割

重学 Java 设计模式:实战外观模式「基于SpringBoot开发门面模式中间件,统一控制接口白名单场景」

小傅哥

设计模式 小傅哥 重构 代码质量 代码坏味道

下周要开始“卖桃者说”代班计划了

霍太稳@极客邦科技

日常

常用运筹学软件整理

张利东

Java | 原来 serialVersionUID 的用处在这里

YoungZY

Java

如何让程序员变得没朋友

四猿外

程序员 个人感悟 技术人生 经验分享

Java 序列化

CoderLi

Java 程序员 后端 序列化

情绪管理 - ABC理论

石云升

情绪控制 ABC理论 费斯汀格法则

游戏夜读 | 如何制作游戏?

game1night

2w字长文!手撸一套 Java 基础面试题

cxuan

Java 后端 Java25周年

万台集群性能优化方法——MaxCompute性能优化实践_QCon_路璐_InfoQ精选文章