Spring for Apache Hadoop 1.0发布

SpringSource 发布了 Spring for Apache Hadoop 1.0 。开发者能够通过它编写基于 Spring Framework 的 Hadoop 应用，还能很容易地与 Spring Batch 和 Spring Integration 集成。Spring for Apache Hadoop 是 Spring Data 大型项目的一个子项目，它基于开源的 Apache 2.0 许可发布。

Hadoop 应用通常是一个命令行工具、脚本和代码的集合。Spring for Apache Hadoop 为 Hadoop 应用开发提供了一个一致性的编程模型和声明式配置模型。开发人员现在能够借助它使用 Spring 编程模型（依赖注入、POJO 和辅助模板）实现 Hadoop 应用，并且能够以标准的 Java 应用而不是命令行工具的方式运行它。Spring for Apache Hadoop 支持对 HDFS 的读写操作，支持运行 MapReduce、流或者级联工作，还能够与 HBase、Hive 和 Pig 交互。

Spring for Apache Hadoop 包含以下关键特性：

支持声明式配置，能够创建、配置和参数化 Hadoop 连接，支持 MapReduce、流、Hive、Pig 和级联工作。有不同的“runner”类执行不同的 Hadoop 交互类型，它们分别是 JobRunner、ToolRunner、 JarRunner、 HiveRunner、 PigRunner、CascadeRunner 和 HdfsScriptRunner。
全面的 HDFS 数据访问支持，可以使用所有基于 JVM 的脚本语言，例如 Groovy、JRuby、Jython 和 Rhino。
支持 Pig 和 Hive 的模板类 PigTemplate 和 HiveTemplate。这些辅助类提供了异常转化、资源管理和轻量级对象映射功能。
支持对 HBase 的声明式配置，同时为 Dao 层支持引入了 HBaseTemplate。
声明和编程支持 Hadoop 工具，包括文件系统 Shell（FsShell）和分布式复制（DistCp）。
安全支持。Spring for Apache Hadoop 清楚运行 Hadoop 环境的安全约束，因此能够透明地从一个本地开发环境迁移到一个完全 Kerberos 安全的 Hadoop 集群。
支持 Spring Batch。通过 Spring Batch，多个步骤能够被调整为有状态的方式并使用 REST API 进行管理。例如，Spring Batch 处理大文件的能力就可以被用于向 HDFS 导入或者从 HDFS 导出文件。
支持 Spring Integration。Spring Integration 允许对那些在被读取并写入 HDFS 及其他存储之前能够被转换或者过滤的事件流进行处理。

下面是配置示例和代码片段，大部分来自于 Spring for Hadoop 博客或者参考手册。

MapReduce


<!-- use the default configuration -->
<hdp:configuration />
<!-- create the job -->
<hdp:job id="word-count" 
   input-path="/input/" output-path="/ouput/"
   mapper="org.apache.hadoop.examples.WordCount.TokenizerMapper"
   reducer="org.apache.hadoop.examples.WordCount.IntSumReducer" />
<!-- run the job -->
<hdp:job-runner id="word-count-runner" pre-action="cleanup-script" post-action="export-results" job="word-count" run-at-startup="true" />

HDFS


<!-- copy a file using Rhino -->
<hdp:script id="inlined-js" language="javascript" run-at-startup="true">
   importPackage(java.util)

   name = UUID.randomUUID().toString()
   scriptName = "src/main/resources/hadoop.properties"
   // fs - FileSystem instance based on 'hadoopConfiguration' bean
   fs.copyFromLocalFile(scriptName, name)
</hdp:script>

HBase


<!-- use default HBase configuration -->
<hdp:hbase-configuration />

<!-- wire hbase configuration -->
<bean id="hbaseTemplate" class="org.springframework.data.hadoop.hbase.HbaseTemplate" p:configuration-ref="hbaseConfiguration" />
// read each row from HBaseTable (Java)
List rows = template.find("HBaseTable", "HBaseColumn", new RowMapper() {
   @Override
   public String mapRow(Result result, int rowNum) throws Exception {
       return result.toString();
   }
}));

Hive


<!-- configure data source -->
<bean id="hive-driver" class="org.apache.hadoop.hive.jdbc.HiveDriver" />
<bean id="hive-ds" class="org.springframework.jdbc.datasource.SimpleDriverDataSource" c:driver-ref="hive-driver" c:url="${hive.url}" />

<!-- configure standard JdbcTemplate declaration -->
<bean id="hiveTemplate" class="org.springframework.jdbc.core.JdbcTemplate" c:data-source-ref="hive-ds"/>

Pig


<!-- run an external pig script -->
<hdp:pig-runner id="pigRunner" run-at-startup="true">
   <hdp:script location="pig-scripts/script.pig"/>
</hdp:pig-runner>

如果想要开始，可以下载Spring for Apache Hadoop 或者使用_org.springframework.data:spring-data-hadoop:1.0.0.RELEASE_ Maven 构件。还可以获取Spring for Hadoop 的 WordCount 示例。在 YouTube 上还有介绍Spring Hadoop 的网络会议。

Spring for Apache Hadoop 需要 JDK 6.0 及以上版本、Spring Framework 3.0 及以上版本（推荐使用 3.2）和 Apache Hadoop 0.20.2 （推荐 1.0.4）。现在并不支持 Hadoop YARN、NextGen 或 2.x。支持所有的 Apache Hadoop 1.0.x 分布式组件，这些分布式组件包括 vanilla Apache Hadoop、Cloudera CDH3、CDH4 和 Greenplum HD 等。

想要获取更深入的信息，你可以阅读 Spring for Apache Hadoop 参考手册和 Javadoc 。Spring for Apache Hadoop 的源代码和示例托管在GitHub 上。

查看英文原文： Spring for Apache Hadoop 1.0

创作场景

Spring for Apache Hadoop 1.0 发布