NVIDIA 初创加速计划,免费加速您的创业启动 了解详情
写点什么

Elastic Mesos 服务实现 EC2 中集群自动化部署

  • 2013-12-23
  • 本文字数:1045 字

    阅读完需:约 3 分钟

EC2 用户现在能够自动化部署 Apache Mesos 了,后者是一个能够在多个数据处理框架之间共享集群资源的开源工具,可以通过大数据创业公司 Mesosphere 所提供的一个称为 Elastic Mesos 的新 Web 服务实现规模化。

该服务在本质上类似于 Amazon 的 Elastic MapReduce ,因为它会在 Amazon EC2 实例上安装 Mesos 依赖的所有内容,包括 Zookeeper 和 HDFS,同时会交付一个准备就绪的集群。最重要的是,没有任何与 Elastic Mesos 相关的费用,所以你只需要为自己使用的 EC2 付费。Elastic Mesos 现在建议的集群大小限制为 6 个或者 us-east-1 区域中的 18 个 m1.large 实例,这受制于按需实例的价格

你能够通过 Elastic Mesos 用户界面中所提供的三步操作完成一个 Mesos 集群的部署,在此过程中你只需要指定想要的集群大小、EC2 证书和一个接收通知的 email 地址即可。完成时间很大程度上取决于 EC2 实例的配置时间,不同的人可能不一样,Mesosphere 估计集群准备好之前大约需要 20 分钟的时间。

Mesos 最初是由 UC Berkeley作为一个研究项目开发的,之后Twitter 迅速将它变成了一个功能完整的平台以便于处理自己爆发式的增长。随着Twitter 的高级副总裁Christopher Fry 将Mesos 看作是“自己版本的弹性计算”,现在它已经是 Apache 的一个顶级项目了。围绕着 Mesos 开发一款产品对于 Mesosphere 而言非常有意义,它的创建者 Flo Leibert 和 Tobi Knaup 之前在 Twitter 和 Airbnb 工作,这两家公司是 Mesos 的两个最大采用者。 Mesos 的支持者每个月都在增长,现在你能够在 Mesos 的技术支持名单中找到像 Vimeo、OpenTable 或者 UC Berkeley 这样的大牌。

Elastic Mesos 类似于 Apache Whirr ,后者是一个能够运行并管理云端服务的开源类库,但是 Whirr 并不支持 Mesos 。即使是这样,Elastic Mesos 提供了一个自包含的服务,而 Whirr 则更多的是面向对集群的整个生命周期有更多控制权的系统管理员。

这是 Mesos 向主流采用迈出的第一大步,人们经常搞混的一个项目是 Hadoop YARN 。这两个项目确实都有同样的目标,也就是实现无缝地、有效地共享集群,但是到目前为止 YARN 的采用率更高,因为它是 Hadoop 2 事实上的调度器。

虽然这样做对它的采用会有多大的推动作用尚不能知晓,但是 Twitter 上的社区响应大部分都是正面的。在 2013 年 12 月份的 Spark Summit 上也已经有了一个教程,该教程详细描述了如何在 Elastic Mesos 上运行 Spark,该教程在 Spark 社区中引起了非常好的反响。

查看英文原文 Elastic Mesos service automates Mesos cluster deployment in EC2

2013-12-23 08:521336
用户头像

发布了 321 篇内容, 共 116.1 次阅读, 收获喜欢 18 次。

关注

评论

发布
暂无评论
发现更多内容

废除“网络君主制”,认识 Usenet ~

掘金安东尼

前端 网络 8月月更

如何正确理解Java领域中的多线程模型,主要用来解决什么问题?

PivotalCloud

涨薪了!拿着GitHub标星80k的阿里性能优化笔记,把项目优化个遍

程序知音

Java 编程 程序员 性能优化 后端技术

开源一夏 | 使用 JavaScript 和 CSS 的简单字符计数器

海拥(haiyong.site)

开源 8月月更

体验家辛济云:CEM不是MarTech,不仅要“从0到1”,更要规避“从1到0”

B Impact

史上最全499道Java面试题:JVM+分布式+算法+锁+MQ+微服务+数据库

冉然学Java

Java 数据库 面试 算法 多线程

关于Http协议,你必须要知道的

TimeFriends

8月月更

Kubernetes 动态扩缩容

CTO技术共享

开源 签约计划第三季 8月月更

LAXCUS授权许可证 第1版

LAXCUS分布式操作系统

开源 分布式操作系统 软件许可证

STM32入门开发 编写DS18B20温度传感器驱动(读取环境温度、支持级联)

DS小龙哥

8月月更

开源一夏 | AngularJS实战之依赖注入与应用实践

恒山其若陋兮

开源 8月月更

SpringBoot整合oceanbase,实现oracle无缝切换到oceanbase

IT学习日记

数据库 分布式数据库 oceanbase 签约计划第三季 oracle迁移到oceanbase

美团二面:如何解决 bin log 与 redo log 的一致性问题

飞天小牛肉

签约计划第三季

千万级学生管理系统的考试试卷存储方案

张立奎

Kubernetes rubbish如何回收

CTO技术共享

开源 签约计划第三季 8月月更

五分钟搞定YAML

俞凡

云原生 yaml

Kubernetes宕机切换源码分析

黄继承

源码分析 kubelet Kubernetes 集群 宕机

Kubernetes eBPF多种玩法

CTO技术共享

开源 签约计划第三季 8月月更

Forlend:构建在Findora上,且具备隐私特性的借贷协议

股市老人

为什么实际业务中不建议直接使用POI操作Excel?

IT学习日记

POI EasyExcel 签约计划第三季 java excel导出导入 poi和easyexcel对比

史上最全的Java并发系列之Java中的锁的使用和实现介绍(二)

自然

多线程 并发 8月月更

React Server Components 介绍 亮点

HullQin

CSS JavaScript html 前端 8月月更

MySQL 原理与优化:意向锁,IS,IX

老崔说架构

Vue讲解系列- - -Nginx和Postman讲解

叶秋学长

Vue 8月月更

2022最新发布!不愧是保姆级的SpringSecurity笔记

了不起的程序猿

Java spring 后端 JAVA开发 java程序员

计算机网络知识点全面总结(一篇全懂)

C++后台开发

网络编程 计算机网络 网络协议 底层原理 C/C++开发

大揭秘:云网流量采集方案关键点

阿泽🧸

签约计划第三季 8月月更 云网流量采集

首发!这份阿里强推的图文并茂的Mybatis 源码笔记将理论和实战完美结合

了不起的程序猿

Java 后端 mybatis JAVA开发 框架

Java程序的构造与执行

李印

编程语言 JVM Java core 8月月更

阿里P8熬了一个月肝出这份32W字Java面试手册,在Github标星31K+

冉然学Java

Java 面试 springboot 秋招 java面试·

构建在Findora上的Forlend,具备隐私特性的借贷协议

EOSdreamer111

Elastic Mesos服务实现EC2中集群自动化部署_DevOps & 平台工程_Charles Menguy_InfoQ精选文章