Aster 发布应用于数据库的 MapReduce

  • R.J. Lorimer
  • 张龙

2008 年 9 月 26 日

话题:Java数据库云计算DevOps语言 & 开发架构

Aster Data Systems最近发布了应用于数据库的 MapReduce,这是其nCluster数据库的一个组件。

InfoQ 已经详细 介绍了 MapReduce,它最初是由Google 工程师引入的一种编程模型,旨在提供一种可伸缩的方法来处理大数据集。

nCluster 是由 Aster 推出的一个高并行处理(MPP)数据库。其网站这样描述了 nCluster 的并行架构:

Aster nCluster 构建于独特、多层的nCluster 架构之上,它包含三种独立的节点类:Queens、Workers 及 Loaders。针对分析处理,该三层设计将角色完全隔离并封装起来。每层都可以独立扩展以响应负载变化——当需要时扩充容量(Workers)、加载带宽(Loaders)或者执行并发(Queens)。

Aster nCluster 提供的 MapReduce 实现利用相同的架构,为数据库中执行 MapReduce 计算留有了余地:

就像针对标准 SQL 查询的高并发执行环境一样,Aster nCluster 为数据库中的并行数据分析及传输实现了灵活的 MapReduce 函数。Aster nCluster 应用于数据库的 MapReduce 函数很容易编写,而且可以与 SQL 语句无缝集成。它们依靠 SQL 查询来操纵底层数据并提供输入。该函数可以操纵输入数据并提供输出,而这些输出又可以被 SQL 查询使用或者写到数据库表中。

SQL/MR 是由 Aster 引入的一个特殊的 SQL MapReduce 函数库,可在 nCluster 平台中用来调用 map-reduce 算法。Aster 支持多态函数和动态类型,同时 MapReduce 计算可用 Java、Python、C++ 等语言开发。

请访问Aster Data Systems 站点以了解有关应用于数据库的 Map Reduce 及 nCluster 数据库的更多信息。

查看英文原文:Aster In-Database MapReduce

Java数据库云计算DevOps语言 & 开发架构