Docker 将会让 Hadoop 部署更加简单快捷

近日，第八届全球 Hadoop 技术峰会在美国加州硅谷召开。作为全球规模最大的 Hadoop 盛会，本次会议吸引了大量的数据服务技术提供商和使用数据产品的企业的参加。在会议上，多家企业进行了 Hadoop 技术相关的报告。其中，很多企业谈到了开源容器引擎 Docker 对 Hadoop 的影响。接下来，本文就针对这些企业的报告及相关讨论内容进行摘要介绍。

BlueData 公司产品部的副总裁 Anant Chintamaneni 给出了“利用 Apache Ambari 进行自助配置和 Hadoop 管理”的报告。该公司由 VMware 公司的资深元老 Kumar Sreekant 和 Tom Phelan 在 2012 年创建。作为一家大数据框架软件的供应商，BlueData 之前推出了 EPIC 软件平台。EPIC 平台可以在任何硬件、任何服务器和任何存储环境下工作，简化大数据框架的部署工作。其目标在于实现 Hadoop 在任何私有数据中心中的直接部署。这样，用户利用 EPIC 就可以解决 I/O 性能瓶颈问题，并实现在虚拟化框架中多用户和多租户的便捷管理。在 EPIC 平台的免费版 EPIC Lite 中，BlueData 加入了对 Docker 容器的支持。它允许用户在笔记本电脑的 Docker 容器中启动虚拟 Hadoop 或者 Spark 集群。

Anant 在报告中指出，EPIC 选择支持 Docker 的主要原因在于，这种做法可以在保持容器简单性以及系统性能的同时，享受大数据应用程序虚拟化所带来的好处。BlueData 公司试图让开发人员和数据专家可以非常容易的创建所需要的集群，从而获得类似于 Cloudera 或 Hortonworks 的功能。只要用户通过笔记本电脑访问 Hadoop，享受了这其中所带来的好处，自然会申请使用支持多用户和多租户的企业版。MapR 公司的产品管理部副总裁 Tomer Shiran 表示，随着越来越多的人喜欢 Docker 容器，像 BlueData 这样的公司把 Docker 加入到所支持的 hypervisor 中也越来越有意义。几天前，BlueData 公司刚刚公布了 EPIC 的夏季发布版——1.5 版本。该版本集成了 Apache Ambari 和 Cloudera Manager，能够支持新版本的 Hadoop 和 Spark。

此外，作为一家 Hadoop 初创公司，Hortonworks 共进行了十几场报告。其中，该公司软件工程师Sidharta Seethana 与Altiscale 公司的高级软件工程师Abin Shahab 联合展示了一些把Docker 融入到Apache Hadoop YARN 的方案。作为一家“Hadoop 即服务”（Hadoop-as-a-Service）方案的提供商，Altiscale 之前已经决定在Docker 容器中运行Hadoop。尽管这种做法需要在没有YAR N 支持的情况下直接管理 Docker 容器，该公司却发现这种方法具有可重复性和可自动化这两种优点。

Hortonworks 则采用了两种方法来利用 Docker 容器运行 Hadoop。第一种方法是用 Docker 来直接运行 Hadoop。目前，这种做法需要用到 Cloudbreak 和 Hortonworks Data Platform（HDP）。通过使用 Docker 镜像，它可在微软 Azure、亚马逊 AWS、谷歌云平台等任何主流云平台上启动 HDP。第二种方法是通过 YARN 来使用 Docker 容器进行应用部署。HDP2.2 版本的技术预览中已经提到了该特性。

Hortonworks 的产品管理部副总裁 Tim Hall 表示，Docker 提供了一种完美隔离和打包 Hadoop 相关的应用程序的方法。该公司也在观察 Slider 框架和 Docker 如何能够一起合作来简化此类的部署工作。目前，Hortonworks 的一个客户已经在考虑他们自己的数据平台利用 HDP 支持 Docker 的方法。他们利用 Cloudbreak 在云中的 Docker 容器中部署 Hadoop，并计划把他们自己的数据应用程序制作成 Docker 镜像以便在 YARN 上运行。此外，很多用户也因为这种方式的敏捷性和兼容性，利用其进行未知环境的部署。

Hall 指出，与传统的在虚拟机或者 OpenStack 中使用 Hadoop 相比较，在 Docker 中运行 Hadoop 的好处包括了安装迅速、开发和产品采用同样的流程和镜像、单节点和多节点相同的流程等。而在 YARN 中运行 Docker 化的应用程序的好处包括更好的软件隔离性、开发和产品采用同样的流程和镜像以及应用程序更好的分发和版本控制。此外， Hall 透露，大数据应用的开发人员越来越倾向于利用 Docker 来运行其应用程序。而且，直接在裸机上运行 Docker 的趋势也越来越明显。

感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作，请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博（ @InfoQ ， @丁晓昀），微信（微信号： InfoQChina ）关注我们，并与我们的编辑和其他读者朋友交流（欢迎加入 InfoQ 读者交流群）。