写点什么

Amazon EC2 推出基于 Hadoop 的 MapReduce

  • 2009-04-07
  • 本文字数:718 字

    阅读完需:约 2 分钟

对于如何将流行的 Apache Hadoop MapReduce 框架运行于 Amazon EC2 之上,老早之前就已经有教程了。今天 Amazon 通过 Amazon Elastic MapReduce 对其提供了官方支持,不断改善自身。从其产品页面可看到:

Amazon Elastic MapReduce 自动地在 Amazon EC2 实例上驱动一个 MapReduce 框架的 Hadoop 实现,将任务流中的数据分解为更小的块以用于并行处理 (“map”函数),并最终将处理后的数据重新组合在一起成为最后结果 (“reduce”函数)。Amazon S3 作为被分析的数据源,并作为最终结果输出的目的地。

Amazon Elastic MapReduce 的价格是在现有 EC2 的收费之上的 15% 比率。其 FAQ 上有一个关于价格和使用的完整列表。AWS的官方博客也提供了报道:

…Elastic MapReduce 的处理是围绕着任务流这一概念为中心来开展的。每个任务流包含一步或者多步。第一步从 Amazon S3 输入一定的数据,再将其分配给指定数量的运行 Hadoop 的 EC2 实例 (如果需要的话,驱动这一实例),完成所有的工作,再将结果写回 S3。每个步骤必须参考应用特定的“mapper”和 / 或“reducer”代码 (Java JARS 或是通过流模型使用的脚本代码)。我们同时还包含进了集合包,对一系列诸如和,最小,最大,历史图以及计数等等的公共操作提供了内置的支持。在你开始写代码之前就已经有很多事情搞定了! 我们提供了三种不同的访问 Elaastc MapReduce 的途径。你可以通过 Elastic MapReduce API 获取完全的控制,你也可以使用 Elastic MapRedue 命令行工具,或者在 AWS 管理控制台的 Elastic MapReduce 标签页通过点击进行操作!让我们分别来看每一个…

ZDNet 的 Dana Gardner 推测 这暗示了Amazone 将在商业智能市场推出新的产品。

查看英文原文: Amazon Rolls Out Hadoop Based MapReduce to EC2

2009-04-07 02:103819
用户头像

发布了 133 篇内容, 共 41.9 次阅读, 收获喜欢 1 次。

关注

评论

发布
暂无评论
发现更多内容

区块链ETF软件的功能分解

北京木奇移动技术有限公司

区块链技术 软件外包公司 区块链ETF

全开源、私有化部署!轻量级用户行为分析系统-ClkLog

ClkLog

开源 数据分析 埋点 用户行为分析 用户画像

藏数于仓 聚势东方 电科金仓赋能第八届数字中国建设峰会

科技热闻

中关村科学城工业软件创新暨开源峰会在海淀成功举办

极客天地

【等保知多少】企业过等保要点看这里!

行云管家

网络安全 等保 等保测评

iVX 组件化赋能后端开发新生态

代码制造者

组件化 后端开发 图形化编排

如何在 Unity3D 导入 Spine 动画

北桥苏

Unity3D Spine

HarmonyOS运动开发:如何监听用户运动步数数据

王二蛋和他的张大花

鸿蒙 运动健康

征程 6 | 逆向自证hbm与bc一致性

地平线开发者

自动驾驶; 算法工具链 地平线征程6

YashanDB|遇到 YAS-02025 报错?教你快速定位与处理!

数据库砖家

数据库

影响LED显示屏价格的三大因素

Dylan

产品 LED LED display LED显示屏 LED屏幕

CRaC 技术深度解析

mazhen

Java Linux Serverless Cloud Native crac

数智报告:一键合并精准高效

用友智能财务

用友 财务 数智化 智能财务 数智报告

实时分析利器|全面解读 YashanDB 列式存储引擎的核心技术

数据库砖家

数据库

如何用豆包做PPT?PPT自动生成全攻略!

职场工具箱

人工智能 PPT AIGC AI生成PPT 豆包

25年甘肃省等保测评机构名单汇总

行云管家

等保 等级保护 等保测评

开放注册!RootTalk Sandbox沙盒系统正式上线

乘云数字DataBuff

可观测性 故障定位 Demo 运维监控

ElatoAI:开源 ESP32 AI 语音 AI 玩具方案;凯叔推出 AI 故事玩偶「鸡飞飞」丨日报

声网

《Operating System Concepts》阅读笔记:p821-p897

codists

操作系统

AI 应用走向成功之路

柯杰

agent

京东商品详情API接口使用攻略

tbapi

京东商品详情接口 京东API 京东商品详情API 京东数据采集

YashanDB 知识库|DBeaver 连接不上数据库?一招教你排查!

数据库砖家

数据库

基于DeepSeek的故障定位大揭秘

乘云数字DataBuff

可观测性 故障定位 运维监控 大模型 DeepSeek

YashanDB|磁盘被 archivelog 写满?教你快速排查与应对!

数据库砖家

数据库

「数」论|工业大模型黄金三角及新一代工业数据底座

麦杰科技

为了管理我那混乱的提示词,我开发了梦精灵提示词管理器,一个浏览器插件

龙正哲

eBPF开发者大会上,乘云技术专家分享eBPF在故障定位场景中的应用

乘云数字DataBuff

可观测性 故障定位 运维监控 eBPF 技术 eBPF开发者大会

首个云超算国标正式发布!百度智能云CHPC首批通过并获最高评级

科技热闻

发件箱模式:打造微服务可靠消息传输

俞凡

架构 最佳实践 设计模式

万界星空科技QMS质量管理系统几大核心功能详解

万界星空科技

万界星空科技 QMS 质量管理系统 生产质量管理 产品质量管理

我的赛博朋克家族成员

玄兴梦影

键盘 NAS 电子产品 赛博朋克 设备

Amazon EC2推出基于Hadoop的MapReduce_Java_Scott Delap_InfoQ精选文章