Apache 基金会主席 Doug Cutting 谈 Hadoop 和开源

在 2011 年 12 月 2 日举办的 Hadoop In China 2011 大会上， Apache 软件基金会主席 Doug Cutting 先生来到了中国，并做了有关开源和 Hadoop 的演讲。会前，InfoQ 中文站对 Doug Cutting 先生进行了专访。

Doug 是多个成功开源项目的创立者，包括 Lucene、Nutch 和 Hadoop。Doug 于 2009 年从 Yahoo! 加入 Cloudera，当时他所在的团队构建并部署了生产环境的 Hadoop 存储和分析集群，完成关键任务的业务分析，他是团队的主要成员。Doug 拥有斯坦福大学的学士学位，同时是 Apache 软件基金会董事会成员。

InfoQ**：Doug先生，非常欢迎您来到中国，您能先做个简单的自我介绍吗？**

Doug：我叫 Doug Cutting，是一名软件开发人员，在硅谷工作多年。大概 11 年前，我开始做开源软件方面的工作。首先参与了 Lucene 搜索项目。后来，Lucene 被带到了 Apache 软件基金会中，我就在其中从事开源工作了，那是 10 年前。此后，我开始了又一个项目—— Nutch ，这也是一个 web 搜索技术；然后就是 Hadoop ，这个后来非常成功的项目。 过去 5 年左右，我一直在做 Big Data 和存储处理方面的工作。

InfoQ**：在您看来，人们使用Hadoop遇到的最大障碍是什么？您能提供一些建议让大家克服这些障碍么？**

Doug：教育问题，在我看来是最大的问题。 使用 Hadoop，需要不同的思考和计算方式，现在也已经有了一些书籍和课程，能够帮大家克服这些问题。随着理解它的人越来越多，我相信传播得也会越来越快。是有一些技术上的障碍和社会层面上的障碍，不过这些问题解决起来更容易，因为技术和相关社区都在发展。但是首先人们要明白 Hadoop 背后的机制。

InfoQ**：对于大规模应用来说，监控非常重要。说到监控运行Hadoop的应用，您能列举出最重要的三个监控指标吗？还有您选择这三个的原因？**

Doug：Hadoop 的目标是以低成本、高效率的方式来做事情。你的硬件使用率是一个很好的指标，比如 CPU 的使用率、磁盘的使用率等等，你有没有完全把资源的利用起来。

与其一起的，你还希望利用高效的算法，当然，这很难监控，需要在一开始就想清楚。一旦开始运行后，要保证所有的资源都能高效利用，有时候很困难，需要在分布式系统里的输入、输出、计算这三者之间取得平衡。这些是最底层要监控的东西。

当然，还有错误和失败等等，这些也是很重要的东西。分布式系统内的调试要更为困难。知道什么时间、哪里出了问题，此类报表对于寻找问题根源是很有帮助的。 同时，某些应用的特定报表也很重要，比如把某些运行进度报告给用户。

InfoQ：接下来是关于开源软件的问题：从技术角度看，您认为哪个开源项目将会成为下一个“超级巨星”？

Doug：我想 HBase 正在不断吸引更多眼球，它在变得越来越稳定、性能越来越高效。我对于 HBase 的进展非常兴奋，我想很多机构将来都会用到它，从中获得价值。

InfoQ：您有很多开源项目方面的经验，能否介绍下您如何激励大家参与开源项目、并为其不断做出贡献？

Doug：最重要的事情，是倾听其他人，试图理解他们为什么要做某些事情。我们每个人都很自然地把注意力放在自己的需要上。要想一起协作做某些事情，我们必须理解其他人的需求。所以，有礼貌地倾听、理解、接受其他人的需求，并试图找出大家可以一起工作的方式方法，这是开源项目中最重要的技能。

Doug Cutting 先生在本次大会上的两个演讲也将在不久后在 InfoQ 中文站上发布，请大家保持关注。

被采访的视频，请访问优酷版本。

给InfoQ 中文站投稿或者参与内容翻译工作，请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博（ @InfoQ ）或者腾讯微博（ @InfoQ ）关注我们，并与我们的编辑和其他读者朋友交流。