写点什么

Elastic Mesos 服务实现 EC2 中集群自动化部署

  • 2013-12-23
  • 本文字数:1045 字

    阅读完需:约 3 分钟

EC2 用户现在能够自动化部署 Apache Mesos 了,后者是一个能够在多个数据处理框架之间共享集群资源的开源工具,可以通过大数据创业公司 Mesosphere 所提供的一个称为 Elastic Mesos 的新 Web 服务实现规模化。

该服务在本质上类似于 Amazon 的 Elastic MapReduce ,因为它会在 Amazon EC2 实例上安装 Mesos 依赖的所有内容,包括 Zookeeper 和 HDFS,同时会交付一个准备就绪的集群。最重要的是,没有任何与 Elastic Mesos 相关的费用,所以你只需要为自己使用的 EC2 付费。Elastic Mesos 现在建议的集群大小限制为 6 个或者 us-east-1 区域中的 18 个 m1.large 实例,这受制于按需实例的价格

你能够通过 Elastic Mesos 用户界面中所提供的三步操作完成一个 Mesos 集群的部署,在此过程中你只需要指定想要的集群大小、EC2 证书和一个接收通知的 email 地址即可。完成时间很大程度上取决于 EC2 实例的配置时间,不同的人可能不一样,Mesosphere 估计集群准备好之前大约需要 20 分钟的时间。

Mesos 最初是由 UC Berkeley作为一个研究项目开发的,之后Twitter 迅速将它变成了一个功能完整的平台以便于处理自己爆发式的增长。随着Twitter 的高级副总裁Christopher Fry 将Mesos 看作是“自己版本的弹性计算”,现在它已经是 Apache 的一个顶级项目了。围绕着 Mesos 开发一款产品对于 Mesosphere 而言非常有意义,它的创建者 Flo Leibert 和 Tobi Knaup 之前在 Twitter 和 Airbnb 工作,这两家公司是 Mesos 的两个最大采用者。 Mesos 的支持者每个月都在增长,现在你能够在 Mesos 的技术支持名单中找到像 Vimeo、OpenTable 或者 UC Berkeley 这样的大牌。

Elastic Mesos 类似于 Apache Whirr ,后者是一个能够运行并管理云端服务的开源类库,但是 Whirr 并不支持 Mesos 。即使是这样,Elastic Mesos 提供了一个自包含的服务,而 Whirr 则更多的是面向对集群的整个生命周期有更多控制权的系统管理员。

这是 Mesos 向主流采用迈出的第一大步,人们经常搞混的一个项目是 Hadoop YARN 。这两个项目确实都有同样的目标,也就是实现无缝地、有效地共享集群,但是到目前为止 YARN 的采用率更高,因为它是 Hadoop 2 事实上的调度器。

虽然这样做对它的采用会有多大的推动作用尚不能知晓,但是 Twitter 上的社区响应大部分都是正面的。在 2013 年 12 月份的 Spark Summit 上也已经有了一个教程,该教程详细描述了如何在 Elastic Mesos 上运行 Spark,该教程在 Spark 社区中引起了非常好的反响。

查看英文原文 Elastic Mesos service automates Mesos cluster deployment in EC2

2013-12-23 08:521332
用户头像

发布了 321 篇内容, 共 115.9 次阅读, 收获喜欢 18 次。

关注

评论

发布
暂无评论
发现更多内容

Vue-10-class的动态绑定

Python研究所

6月月更

java编程培训Mybatis的增删改查与获取参数值

@零度

mybatis JAVA开发

二级等保要求几年做一次测评?测评项目有多少项?

行云管家

等级保护 等保测评 二级等保 等保二级

服务网格项目Aeraki Mesh正式进入CNCF沙箱

York

开源 云原生 istio Service Mesh 服务网格 cncf

洞见科技荣获「最受投资人欢迎的隐私计算服务企业」奖

洞见科技

隐私计算 数据要素

Java—线程安全II

武师叔

6月月更

Go语言入门基础之库源码文件

Damon

6月月更

还不知道npm私服?一篇教会你搭建私服并发布vue3组件库到nexus

Jianmu

ci 前端 npm Vue3 私服

谷歌AI人格觉醒“喜提”热搜,我们找清华大佬聊了聊 AI 对话系统的惊人进展

硬科技星球

人工智能 谷歌 图灵测试

千亿参数“一口闷”?大模型训练必备四种策略

OneFlow

人工智能 模型训练 策略

NFT卡牌盲盒链游系统dapp开发搭建

薇電13242772558

智能合约 NFT

Wallys/Routerboard/DR344/WiFi/AR9344 FCC/CE/IC

wallys-wifi6

AR9344 802.11a

得物前端唤端业务场景和技术精讲

得物技术

前端 前端教程 等待唤醒 业务场景 前端工具

从行业角度看,数仓领域的未来是什么?

字节跳动数据平台

字节跳动 数据仓库 OLAP

洞见科技当选中国信通院隐私计算联盟「副理事长+政务应用工作组组长」单位

洞见科技

隐私计算

测试基础之:测试覆盖率

甜甜的白桃

软件测试 测试覆盖率 JACOCO 6月月更

开课报名|「Takin开源特训营」第一期来啦!手把手教你搞定全链路压测!

TakinTalks稳定性社区

开源 全链路压测 生产环境全链路压测 安全生产 稳定性保障

莫把暑假插错秧,代码哪有足球香,Alluxio足球青训营在线摇人!

Alluxio

微软 开源 足球 分布式, CCF开源高校行

数据智能基础设施升级窗口将至?看九章云极 DingoDB 如何击破数据痛点

九章云极DataCanvas

人工智能 数据库 数据 数据智能

融云首席科学家任杰:数字游民和意识体,疫情将如何影响人类社会进化

融云 RongCloud

十分钟带你入门Docker容器引擎

百思不得小赵

云原生 Docker 镜像 6月月更

一文掌握软件安全必备技术 SAST

SEAL安全

网络安全 软件安全 SAST工具 SAST

谈谈 JDK 和 SAPMachine 的关系

Jerry Wang

Java jdk jre SAP 6月月更

深度合作 | TDengine + 华为云 Stack 强强联合打造高效物联网时序数据处理解决方案

TDengine

数据库 tdengine 时序数据库

【云计算】云计算平台是什么意思?可以划分为哪三类?

行云管家

云计算 云服务 私有云 云平台 云计算平台

从 keynote 大神到语雀画图大神,她是怎么做到的?

写文档的语雀

编辑器 思维导图 文档管理 企业知识管理

市值严重低估,现金15亿,百世走的路对吗?

科技新知

大数据培训flink窗口(Windows)的表现形式

@零度

大数据开发

技术分享| 云服务器的使用-nginx的安装及使用

anyRTC开发者

nginx centos 音视频 服务器

InfoQ 极客传媒 15 周年庆征文|手摸手教你在Windows安装Docker,一定要看到最后

迷彩

Docker 架构 运维 6月月更 InfoQ极客传媒15周年庆

天翼云数据中台通过“数字政府智慧中台”评估

Geek_2d6073

Elastic Mesos服务实现EC2中集群自动化部署_DevOps & 平台工程_Charles Menguy_InfoQ精选文章