写点什么

LinkedIn 开源 Dr. Elephant

  • 2016-04-17
  • 本文字数:1363 字

    阅读完需:约 4 分钟

本文来源于全球最大的职业社交网站 LinkedIn 领英,文章版权归作者本人所有。

今天 LinkedIn 宣布开源 Dr. Elephant,Dr. Elephant 能够很好地帮助用户理解、分析和优化 Hadoop 和 Spark 的工作流。LinkedIn 在去年第八届 Hadoop Summit 上第一次在社区呈现。

动机

Hadoop 是一个分布式数据存储和大数据处理框架,体量大、组件复杂,因而每个组件的性能优化就显得异常重要。在优化底层硬件资源,网络架构,OS 和其它堆栈的同时,也需要对集群上运行的任务进行优化。

什么是 Dr. Elephant?

Dr. Elephant 是一个 Hadoop 和 Spark 的性能监控和调优工具。Dr. Elephant 能自动化收集所有指标,进行数据分析,并以简单易用的方式进行呈现。Dr. Elephant 的目标是提高开发人员的开发效率和增加集群任务调试的高效性。Dr. Elephant 支持对 Hadoop 和 Spark 任务进行可插拔式、配置化以及基于规则的启发式 job 性能分析,并且根据分析结果给出合适的建议来指导如何调优使任务更有效率。

为什么选择 Dr. Elephant?

其它开源或者商用 Hadoop 优化工具都是收集系统资源指标和监控集群资源信息,关注点仅在于简化 Hadoop 集群的发布和管理,而很少有工具是来帮助 Hadoop 优化任务流。这些工具不支持 Hadoop 集群的规模化和 Hadoop 框架的增长,而 Dr. Elephant 支持 Hadoop 生态的各种框架,并且很容易的扩展到新的框架,已经支持 Spark。Dr. Elephant 让用户更清晰的掌握 Hadoop 和 Spark 原理,并帮助其轻松的优化任务。

Dr. Elephant 如何工作?

Dr. Elephant 从 YARN Resource Manager 周期性获取所有最近运行成功和失败的应用列表,然后从 Job History Server 中攫取每个应用的元数据,包括 job counters、任务配置和任务数据。有了元数据后,Dr. Elephant 进行启发式分析,并生成每个任务的诊断报告,从而进行相应的整体优化。Dr. Elephant 将会标记出五个等级问题严重性,指出潜在的性能问题。

图 1 Dr. Elephant 问题等级

图 2 Dr. Elephant 的面板

通过 Dr. Elephant 的 UI 查看数据面板,见图 2,这里显示集群的相关统计信息,包括集群上运行的任务数,需要优化的任务数,以及基于启发式分析发现的严重任务数。图中是最近 24 小时的 Dr. Elephant 分析的所有最近的任务。

图 3 Dr. Elephant 的搜索页

Dr. Elephant 提供一个搜索功能,帮助用户通过任务 ID/ 应用 ID,执行 ID,任务类型,任务严重程度和任务完成时间等来搜索任务。

图 4 Dr. Elephant 任务页面

当你点击指定的搜索结果,会显示完整的任务信息,并能查看相互引用的任务流。

图 5 Dr. Elephant 的工作流历史

图 6 Dr. Elephant 的任务历史

Dr. Elephant 的任务历史和工作流历史可以帮用户比较前后执行的区别。Dr. Elephant 通过启发式计算出每个任务执行的性能得分并作图。这个图表可以帮助用户很直观的分析哪个性能好。

家庭医生

Dr. Elephant 在 LinkedIn 非常受欢迎,大家钟爱其简洁性。Dr. Elephant 通过简单的诊断可以解决百分之八十的问题。Dr. Elephant 提供任务级别的建议帮助用户去理解和优化 Hadoop 工作流。

Dr. Elephant 已经完全和 Hadoop 生态整合。在 LinkedIn,开发人员使用 Dr. Elephant 作为开发流程的一部分,线上任务强制达到绿色级别。

查看英文原文 https://engineering.linkedin.com/blog/2016/04/dr-elephant-open-source-self-serve-performance-tuning-hadoop-spark

2016-04-17 19:003364
用户头像

发布了 43 篇内容, 共 26.8 次阅读, 收获喜欢 7 次。

关注

评论

发布
暂无评论
发现更多内容

面试半年,总结了1000道2023年Java架构师岗面试题

小小怪下士

Java 程序员 面试 后端

分析视角下银行业数据平台架构演进及实现

HashData

企业如何落地DevOps(上)

老张

DevOps 软件工程

基于TCP协议的GPS定位器设备迁移到阿里云IoT物联网平台实践——实践类

阿里云AIoT

云计算 网络协议 物联网 数据采集 定位技术

智能AI量化现货合约跟单交易机器人软件开发

开发微hkkf5566

智能手持测温枪接入阿里云IoT物联网平台实践——实践类

阿里云AIoT

小程序 监控 物联网 开发工具 消息中间件

企业级应用建设之道:高代码+低代码开发

力软低代码开发平台

IoT物联网平台:网关与子设备开发实战——实践类

阿里云AIoT

Java 物联网 开发工具

百度工程师漫谈视频理解

百度Geek说

人工智能 视频理解 企业号 2 月 PK 榜 视频动作分析

工业元宇宙:智能制造的未来形态

Openlab_cosmoplat

开源 工业 制造 区块链、 元宇宙

架构实战营10期-作业8

炮仗

IoT设备模拟器小程序使用手册——实践类

阿里云AIoT

小程序 开发者 监控 物联网 传感器

LeetCode题解:2363. 合并相似的物品,双指针,详细注释

Lee Chen

JavaScript LeetCode

云原生架构如何落地实践

Onegun

微服务 云原生 小程序容器

东数西算下,液冷数据中心为何日趋重要?

蓝海大脑GPU

数据中心 高性能计算 东数西算 液冷散热

强将带新兵?试试少代码!

世开 Coding

开发框架 快速开发平台 Jmix

在线文本翻译能力新增14个直译模型,打造以中文为轴心语言的翻译系统

HMS Core

微服务架构与小程序容器的结合:多领域应用的利器

FinFish

小程序 微服务架构 小程序容器 小程序化

今天,我想去一个平行世界

阿里云视频云

云计算 云渲染

IoT物联网平台20条实用手册——实践类

阿里云AIoT

监控 物联网 消息中间件 数据格式 网络性能优化

Zebec被评选为BNB Chain 2023年40佳DAPP

西柚子

[译]Java web 应用和虚拟线程

followtry

Java spring 虚拟线程 loom

混合式App开发模式下的热更新技术方案,你知道多少?

没有用户名丶

小程序容器

Chrome插件:阿里云IoT设备证书三元组转化生成二维码——实践类

阿里云AIoT

小程序 开发者 物联网 Web App开发

云原生是什么?核心概念和应用方法解析

FinFish

小程序 云原生 小程序容器 小程序化 小程序技术

今天 4 点,龙蜥自动化运维平台SysOM 2.0的诊断中心功能介绍 | 第 66-68 期

OpenAnolis小助手

开源 系统运维 龙蜥大讲堂 SysOM 诊断

“数字经济新引擎”筑牢中国智造基石

Openlab_cosmoplat

开源 物联网 数字化转型 工业 制造

SQL 层功能改进 - lookupJoin 的优化

KaiwuDB

SQL优化 KaiwuDB lookupJoin

LeetCode题解:2363. 合并相似的物品,哈希表,详细注释

Lee Chen

JavaScript LeetCode

易观:商业银行持续发力趣味营销活动,助力提升手机银行用户活跃度

易观分析

数字化 经济 手机银行

IoT平台云端通用数据解析脚本实践——实践类

阿里云AIoT

小程序 监控 物联网 存储 数据采集

LinkedIn开源Dr. Elephant_性能调优_Akshay Rai_InfoQ精选文章