在本周的 Hadoop World 大会上, Membase 和 Cloudera 宣布整合 Membase 服务器和CDH(Cloudera Distribution for Hadoop)。Membase 是日前发布的一款数据库, InfoQ 上也有报道。 Hadoop 是一个开源项目,它包括分布式存储和 MapReduce 处理框架。在大会上,AOL Advertising 和 ShareThis 展示了他们如何运用它进行定向广告投放和广告服务平台的整合。
James Phillips,Membase 的合作创始人兼高级副总裁在博客中写道:
在技术整合上,我们已经为客户建立了两种 Membase 和 CDH 的整合机制,而且即将可用。其一是 Membase 的 NodeCode 模块,它可实时地将 Membase 到 CDH 的数据转换成流。新操作数据一旦进入 Membase,就可实时转换成消息并灌入 CHD 集群以备处理。其二是一个由 Sqoop 衍生出来的批量加载工具,它可以从 Membase 向 CDH 加载数据,反向亦可。
据 Perry Krug,Member 的系统工程师,实时整合使用了 Cloudera 的 Flume 项目将 Membase 中的更新转换成事件,并最终存储在 Hadoop 分布式文件系统中。
Pero Subasic,AOL 的首席架构师指出:
AOL 每天要服务来自广告服务平台的数十亿次印象(impression,译注:impresssion 是广告中的术语,通常用于收费,如 CPM,即每千次印象成本),任何处理时间上的改进都反映了我们能够更有效地履行合同约束、服务与广告的能力,进而转换成巨大利益。对于我们每次读 / 写 5 毫秒的目标,缺乏伸缩性的传统数据库难以满足。当我们在 Hadoop 上建立用户账户,然后使用 Membase 服务于它时,可将账户读写时间减低到 1 毫秒以内,从而腾出了大量处理时间服务于定向广告投放和定制化。
Cloudera 首席执行官 Mike Olson 提出:
Membase 服务器与 CDH 的整合为客户增添了许多他们感兴趣的功能。其结果是一个高度优化的几乎无延时的数据交付系统。实时处理能力对任何必须做出非一致性决定的解决方案(如广告定向投放和实时社交游戏)都是至关重要的。
Phillips 指出,除了整合软件的发布之外,Cloudera 与 Membase 正致力于为“定向广告、报价及内容;日志和事件流抓取及分析;实时社交游戏”搭建联合解决方案。
评论