写点什么

万台集群性能优化方法——MaxCompute 性能优化实践

  • 2019-08-20
  • 本文字数:584 字

    阅读完需:约 2 分钟

万台集群性能优化方法——MaxCompute性能优化实践

QCon北京2018大会上,路璐讲师做了《万台集群性能优化方法——MaxCompute 性能优化实践》主题演讲,主要内容如下。


演讲简介


MaxCompute 是阿里巴巴自主研发的一站式大数据处理平台,承担着阿里巴巴集团 99%的存储和 95%的计算。


MaxCompute 平台机器规模达到十万级,数据规模达到 EB 级,每天有超过 300 万个作业在 MaxCompute 平台上运行。因此对 MaxCompute 平台进行性能优化是一项巨大的挑战,也关系到巨大的成本收益。


本次演讲将介绍 MaxCompute 如何通过一系列性能分析工具和数据分析方法诊断大规模集群的性能问题,并通过一些具体实例向大家介绍 MaxCompute 在性能优化方面的经验。


讲师介绍


路璐


阿里巴巴 计算平台事业部技术专家


路璐,阿里巴巴技术专家,目前主要专注 MaxCompute 性能优化,本科毕业于哈尔滨工业大学,研究生毕业于中国科技大学。


2010 年加入阿里巴巴 MaxCompute 的前身 ODPS 团队,见证了 MaxCompute 从跑通 hello world 到部署数万台机器规模、支撑起整个阿里巴巴大数据计算及公有云市场的整个过程。个人工作主要集中在 MaxCompute 的分布式计算、分布式存储、性能优化等领域,作为主要开发者完成 MaxCompute 第一代计算引擎。目前主要负责 MaxCompute 的软硬件性能优化,致力于将开源大数据平台、高性能基础库及新硬件的最新进展引入到 MaxCompute。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/beijing/schedule


2019-08-20 00:002916

评论

发布
暂无评论
发现更多内容

【实战解析】淘宝店铺商品全量爬取:item_search_shop API深度指南

Noah

物化视图详解:数据库性能优化的利器

镜舟科技

StarRocks 携程 物化视图 湖仓 Data Cache

PureBasic 6.20 (macOS, Linux, Windows) - 现代的 BASIC 编程语言及 IDE

sysin

PureBasic

原生APP和混合APP开发的对比

北京木奇移动技术有限公司

APP开发 软件外包公司 APP外包公司

StarRocks 与主流 BI 工具兼容性盘点(Superset/帆软/QuickBI/Tableau)

镜舟科技

MySQL OLAP BI 分析型数据库 StarRocks

51Talk发布2024年Q4财报:第四季度营业收入同比增长117.3%

财见

Leangoo vs ONES:哪个更适合Scrum敏捷开发和SAFe大规模敏捷?

顿顿顿

项目管理 敏捷开发 任务管理 敏捷工具 scrum工具

What's new in dubbo-go v3.3.0

apache/dubbo-go

dubbo dubbo-go dubbogo Dubbo3

以联接,育栋梁:解码校园中的星河AI网络

脑极体

AI

Fabric8 Kubernetes 教程——Replication、ConfigMap、Secret

FunTester

三分钟掌握音频提取 | 在 Rust 中优雅地处理视频音频

Yeauty

rust ffmpeg Video media audio

昇腾AI携手22家伙伴发布大模型应用一体机,让企业AI落地更简单

极客天地

【Redis深度专题】「踩坑技术提升」一文教会你如何在支持Redis在低版本Jedis情况下兼容Redis的ACL机制

码界西柚

redis 权限控制 acl 底层原理 访问控制列表

TCL电子(01070.HK)2024年经调整归母净利润同比翻倍

财见

深入探索ArkUI中的@LocalBuilder装饰器:构建高效可维护的UI组件

李游Leo

HarmonyOS HarmonyOS NEXT

原生APP的性能优化

北京木奇移动技术有限公司

软件外包公司 原生APP开发 APP开发公司

一键部署 GPU Kind 集群,体验 vLLM 极速推理

Se7en

测试技艺 | 在AI极速发展下重塑

技艺的尾巴

人工智能 AI 软件测试 推动软件业变革 测试技艺

一款体验故障定位的神器

乒乓狂魔

故障定位 AIOPS 可观测

混沌工程没有银弹

FunTester

混合APP上线时需要的问题

北京木奇移动技术有限公司

软件外包公司 APP开发公司

征程 6X CAMSYS 性能测试方案介绍

地平线开发者

自动驾驶 算法工具链 地平线征程6

从青铜到王者系列(1):手把手教你用WSL 2在Windows 11家庭版上安装Docker,开发必备教程!

程序员老王

从投机到可持续发展:ETHDenver 2025 的关键启示!

One Block Community

去中心化 polkadot web3

以太坊兼容智能合约即将登陆 Kusama!Polkadot 迎来智能合约新时代

One Block Community

智能合约 polkadot web3

Netty源码—Reactor线程模型二

不在线第一只蜗牛

Java 数据库 Linux

工作中最常用的 8 种设计模式

不在线第一只蜗牛

设计模式

VMware vSphere Replication 9.0.2.2 发布 - 虚拟机复制和数据保护

sysin

vSphere

VMware ESXi 8.0U3d macOS Unlocker & OEM BIOS HPE (慧与) 定制版

sysin

esxi

《Operating System Concepts》阅读笔记:p460-p4470

codists

操作系统

鸿蒙NEXT开发案例:程序员计算器

zhongcx

万台集群性能优化方法——MaxCompute性能优化实践_QCon_路璐_InfoQ精选文章