Hadoop 任务即将可以运行在 Docker 容器中

  • 马德奎

2014 年 9 月 3 日

话题:语言 & 开发架构

近日,Gigaom高级编辑 Derrick Harris 发表了一篇文章,题为《Hadoop 任务即将可以简单又安全地运行在 Docker 容器中》。文章开头写到,Hadoop 初创企业Altiscale将把 Docker 变成运行 Hadoop 任务的一个合适环境作为自己的使命,而且已经接近完成。现在,其中最大一项待解决的问题是网络安全。

Raymie Stata 是前雅虎 CTO,同时也是 Artiscale 这家 Hadoop 即服务初创企业的创始成员之一。他和另一位工程师 Dinesh Subhraveti 向 Harris 介绍了他们的这项工作。

据 Stata 介绍,他们正与 Docker 社区紧密合作,推动Docker 与 YARN 集成。他认为,这对任何需要应对多租户 Hadoop 环境的企业而言都很重要。Docker 不仅可以提供一种快速、标准的方法向 YARN 部署应用程序,还可以实现应用程序之间的隔离。这在安全和性能方面都很重要。下面是 Docker 容器运行应用程序的示意图:

不过,Subhraveti 指出,在实现 Docker 与 YARN 的集成之前,需要完成一项重大的改进,就是将用户命名空间引入 Docker,从而确保具有 root 级权限的应用程序不会危害主机,使它不安全或者降低其它容器的性能。这项工作可能要到今年年底才能完成,到那时候,Hadoop 用户应该就能够在 YARN 上运行 Docker 容器,并且不用担心安全问题了。

最近一段时间,关于 Docker 的讨论比较多。对 Docker 感兴趣的读者,可以阅读一下 Gigaom 前段时间发表的另一篇文章《Docker 如何抓住开源的理想时机成为云端的宠儿》。


感谢郭蕾对本文的审校。

给 InfoQ 中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ)或者腾讯微博(@InfoQ)关注我们,并与我们的编辑和其他读者朋友交流。

语言 & 开发架构