Apache Spark 发布 1.3 版本，引入 Data Frames、改进 Spark SQL 和 MLlib

Apache Spark 项目发布了 1.3 版本。主要改进是增加了 DataFrames API，更成熟的 Spark SQL 以及一些添加到机器学习库 MLlib 的新方法。此外，新版本可以更好地将 Spark Streaming 与 Apache Kafka 整合。

DataFrames API 是新版本最主要的新增功能。采用 R 语言中的同名数据结构建模，目的是为列表数据提供更好的支持。DataFrame 包含一张表，表中的列是有类型和命名的，可以提供过滤、分组或计算聚集等操作，类似 SQL 查询。

DataFrames 与分布式 SQL 查询引擎 Spark SQL 紧密集成。 DataFrames 可以构建自 SQL 查询结果集、弹性分布式数据集，或者从 Parquet 格式的文件中加载。到目前为止，RDDS（弹性分布式数据集）是 Spark 中主要的分布式数据采集类型，但 DataFrames 旨在为结构化数据提供更好的支持。

作为 Spark 的一部分，机器学习库 Spark MLlib 已经实现了一些新的的学习算法，例如隐含狄利克雷分布，这是一种确定文件主题、聚集相关文件的概率方法；又如多项逻辑递归，用于多类预测任务。MLlib 开始部分支持分布式线性代数，包括以分布式方式存储矩阵块。这样的功能是许多较复杂的数据分析任务所必需的，包括矩阵分解，这往往涉及矩阵过大难以载入主存储器的问题。

在这些算法之上，Spark 还增加了更高级功能，为数据分析，增加导入和导出学习过的预测模型，还有在 1.2 版本引入的管道 API，使用户以高级的方式指定数据转换管道。这种管道通常用于提取数据科学领域的原始数据相关的特征。

此外，Spark 现在已经与Apache Kafka直接集成，可以摄取实时事件数据。

Apache Spark 最初开始于 2009 年，源自加州大学伯克利分校的 AMPLab。它可以独立运行，或者安装在现有的 Hadoop 上运行，它还提供了比 Hadoop 原生的 MapReduce 处理模型更大的操作集合。它尽可能使用内存持有数据，因此相对于主要基于磁盘的 MapReduce，它的性能得到了进一步改进。另外，通过收集缓冲区中的数据，然后周期性地处理这些小型的批处理，Spark 具备了处理接近实时的事件数据的能力。在类似的项目中，Apache Flink不但有类似的功能集合，还包括查询优化和连续数据流处理引擎，Cascading和Scalding项目，提供了一组类似的高级操作，但运行在 MapReduce 处理模型之上。

查看英文原文：Apache Spark 1.3 Released, Data Frames, Spark SQL, and MLlib Improvements

感谢丁晓昀对本文的审校。

给 InfoQ 中文站投稿或者参与内容翻译工作，请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博（@InfoQ，@丁晓昀），微信（微信号：InfoQChina）关注我们，并与我们的编辑和其他读者朋友交流。