写点什么

Facebook 使用 Corona 提升 Hadoop 的可伸缩性

  • 2012 年 11 月 21 日
  • 本文字数:647 字

    阅读完需:约 2 分钟

Facebook 已经开源了Corona ,这是一款内部开发的用以改善Hadoop MapReduce 调度的软件。

Corona 将集群管理和作业跟踪这两个关键任务分开。这与 Apache YARN 在概念上不谋而合,YARN 也是 MapReduce 调度器和资源管理器的一个改进版本。Facebook 的工程团队发表了一篇文章来解释 Corna 及其背景。他们同时也解释了为什么没有采用 YARN——

“值得注意的是,我们曾经考虑过将 Apache YARN 作为 Corona 的一种替代方案。然而,在调研了 YARN 在我们的 HDFS 版本(由于我们海量的 PB 级数据存储而产生的强烈需求)上的使用情况后,我们发现了很多不兼容问题,修复的时间成本过高,而且存在风险。此外,YARN 能否适应 Facebook 规模的负载也是个未知数。”

Facebook 的 Hadoop 版本一个主要不同 AvatarNode ,它会为集群中的每个结点创建一个热备份。这就创建了高可用的 NameNode ,甚至允许非停机条件下进行软件升级。Facebook 的数据仓库当前需要处理成百上千 PB 数据,而且每天还要新增 0.5PB ,这对他们是非常关键的。

Corona 当前能够运行 MapReduce 作业,但 Facebook 打算将其用于来自其他类型应用(比如 Peregrine )的调度作业。

Apache Hadoop 是一组支持大规模分布式计算的项目集。读者可以参考 InfoQ 上的 Hadoop 相关资源

查看英文原文 Corona Improves Hadoop Scalability At Facebook


感谢臧秀涛对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2012 年 11 月 21 日 05:442075

评论

发布
暂无评论
发现更多内容

现场突击京东程序员的购物车!看看"11.11"都买啥?

京东科技开发者

程序人生

Javaer 进阶必看的 RocketMQ ,就这篇了

yes

RocketMQ 消息队列

蚂蚁金服Java三面面经:二叉树+HTTPS加密+自旋锁+缓存穿透(附答案)

Java架构之路

Java 程序员 架构 面试 编程语言

保证缓存与数据库的数据一致性不是很容易

架构师修行之路

缓存 一致性

openEuler开源下一代全场景虚拟化平台StratoVirt

openEuler

开源 虚拟化 openEuler stratovirt

穆长春:数字人民币“双离线”支付开发完毕后续将试点

CECBC

数字钱包

ARTS打卡 第21周

引花眠

微服务 ARTS 打卡计划 springboot

来自朋友最近阿里、腾讯、美团等P7岗位面试题

艾小仙

Java 阿里巴巴 程序员 腾讯 面试

架構師訓練營第 1 期 - 第 05 周作業

Panda

架構師訓練營第 1 期

你用过宏##粘贴函数,然后用函数指针查找执行吗?今天就给你说道说道

良知犹存

c c++

算法训练营毕业总结——以此自勉

Airship

算法 算法和数据结构

黑幕!爆京东18A技术专家纯手打:小团队构建大网站架构实战

996小迁

Java 学习 架构 面试 笔记

缓存架构不够好,系统容易瘫痪

架构师修行之路

缓存 微服务 架构设计

架构师训练营第 1 期第 6 周作业

业哥

java安全编码指南之:文件IO操作

程序那些事

java安全编码 java安全 java安全编码指南 java代码规范

分布式关系数据库

韩向民

一笔订单,但是误付了两笔钱!这种重复付款异常到底该如何解决?

楼下小黑哥

支付宝 微信支付 支付系统 支付

第五周课后总结

饭桶

openEuler进化记:一颗探索宇宙的生态之星

脑极体

这里有一份Java程序员的珍藏书单,请您注意查收

捡田螺的小男孩

Java 后端 PDF

anyRTC与京东智联云市场达成战略合作,携手音视频平台

anyRTC开发者

ios 音视频 WebRTC RTC 安卓

第五周课后练习

饭桶

甲方日常 38

句子

工作 随笔杂谈 日常

既不能神化,也不要泛化区块链

CECBC

金融 数字技术

程序员跳槽,只要用好(2+2)方法论,绝对可以找到一家好公司

Java架构师迁哥

二十四、深入Python多进程multiprocessing模块

刘润森

Python

SpringCloud Alibaba开篇:SpringCloud这么火,为何还要学习SpringCloud Alibaba?

冰河

分布式 微服务 高性能 SpringCloud Alibaba

Facebook使用Corona提升Hadoop的可伸缩性_Facebook_Roopesh Shenoy_InfoQ精选文章