深入浅出Mesos

面对光鲜亮丽的时代主题,我们该如何设计和实现任务的调度和资源的分配呢?答案是不需要这样做,因为我们有Mesos。
用户头像
作者: InfoQ 中文站
下载此书
深入浅出Mesos

云计算和大数据是这个时代的主题。这个主题是由数据挖掘、算法、微服务等具体的活动或者业务组成的,进而它们可以分解为离线或实时的任务。这些任务可能是长时间运行的、定时执行的,亦或是短时间内一次执行即结束的。每个任务都需要 CPU 和内存资源来处理,这些资源很可能是跨主机的,甚至是跨数据中心的。那么,面对光鲜亮丽的时代主题,我们该如何设计和实现任务的调度和资源的分配呢?答案是不需要这样做,因为我们有 Mesos。

Mesos 是为软件定义数据中心而生的操作系统,跨数据中心的资源在这个系统中被统一管理。Mesos 非常智慧和优雅地以 Framework 的形式,提供了的两级调度机制,将任务的调度和执行分离。前面提到的各种类型的任务,在调度阶段,由 Framework 的调度器以资源邀约的形式向 Mesos Master 申请资源;在执行阶段,由 Framework 的执行器执行任务。Mesos 帮助我们解决了错综复杂的任务调度和资源管理的问题后,我们可以专注于实现自己的任务,进而完成云计算和大数据业务。

Mesos 的意义不止与此,它为我们带来了一个生机勃勃的生态环境。基于现有的 Framework,我们可以使用 Marathon 跑长时间运行的(微)服务,使用 Chronos 运行批量任务,使用 Spark 做大规模数据处理,使用 Cassandra 实现数据存储。这些 Mesos 生态中的系统都基于两级调度机制,实现了 Framework。Mesos 的这种插件式的 Framework,使其自身轻盈,使其生态蓬勃。

同 Borg 相比,Mesos 更亲民,我们摸得着看得见;同 Omega 相比,Mesos 更现实,曲调虽然不算高山流水,却能奏完每个篇章;与 Kubernetes 相比,Mesos 更成熟;Mesos 之于 Hadoop,计算模型上使用 Spark 超越了 MapR,资源管理上,是 YARN 模仿的样板。

自 2009 年,诞生于加州大学伯克利分校的 AMPlab,Mesos 在不断地完善其生态系统。创始人 Benjamin Hindman 以首席架构师的身份,参与着 Mesos 背后的商业实体公司 Mesosphere 的建设,通过推出数据中心操作系统(DCOS)产品,不断降低 Mesos 的使用门槛,提高生产率;创始人 Andy Konwinski 和 Matei Zaharia 是 Spark 背后的商业实体公司 Databricks 的联合创始人。这样的生态体系和商业形式,为开发者带来了更多的信心和参与其中的兴趣。

目录

  • 深入浅出 Mesos(一):为软件定义数据中心而生的操作系统
  • 深入浅出 Mesos(二):Mesos 的体系结构和工作流
  • 深入浅出 Mesos(三):持久化存储和容错
  • 深入浅出 Mesos(四):Mesos 的资源分配
  • 深入浅出 Mesos(五):成功的开源社区
  • 深入浅出 Mesos(六):亲身体会 Apache Mesos
  • Apple 使用 Apache Mesos 重建 Siri 后端服务
  • Singularity:基于 Apache Mesos 构建的服务部署和作业调度平台
  • Autodesk 基于 Mesos 的可扩展事件系统
  • Myriad 项目: Mesos 和 YARN 协同工作
免费下载此书(PDF)
免费下载此书(ePub)
免费下载此书(MOBI)

收藏

评论

微博

用户头像
发表评论

注册/登录 InfoQ 发表评论