OceaBase开发者大会落地上海!4月20日共同探索数据库前沿趋势!报名戳 了解详情
写点什么

Amazon EC2 推出基于 Hadoop 的 MapReduce

  • 2009-04-07
  • 本文字数:718 字

    阅读完需:约 2 分钟

对于如何将流行的 Apache Hadoop MapReduce 框架运行于 Amazon EC2 之上,老早之前就已经有教程了。今天 Amazon 通过 Amazon Elastic MapReduce 对其提供了官方支持,不断改善自身。从其产品页面可看到:

Amazon Elastic MapReduce 自动地在 Amazon EC2 实例上驱动一个 MapReduce 框架的 Hadoop 实现,将任务流中的数据分解为更小的块以用于并行处理 (“map”函数),并最终将处理后的数据重新组合在一起成为最后结果 (“reduce”函数)。Amazon S3 作为被分析的数据源,并作为最终结果输出的目的地。

Amazon Elastic MapReduce 的价格是在现有 EC2 的收费之上的 15% 比率。其 FAQ 上有一个关于价格和使用的完整列表。AWS的官方博客也提供了报道:

…Elastic MapReduce 的处理是围绕着任务流这一概念为中心来开展的。每个任务流包含一步或者多步。第一步从 Amazon S3 输入一定的数据,再将其分配给指定数量的运行 Hadoop 的 EC2 实例 (如果需要的话,驱动这一实例),完成所有的工作,再将结果写回 S3。每个步骤必须参考应用特定的“mapper”和 / 或“reducer”代码 (Java JARS 或是通过流模型使用的脚本代码)。我们同时还包含进了集合包,对一系列诸如和,最小,最大,历史图以及计数等等的公共操作提供了内置的支持。在你开始写代码之前就已经有很多事情搞定了! 我们提供了三种不同的访问 Elaastc MapReduce 的途径。你可以通过 Elastic MapReduce API 获取完全的控制,你也可以使用 Elastic MapRedue 命令行工具,或者在 AWS 管理控制台的 Elastic MapReduce 标签页通过点击进行操作!让我们分别来看每一个…

ZDNet 的 Dana Gardner 推测 这暗示了Amazone 将在商业智能市场推出新的产品。

查看英文原文: Amazon Rolls Out Hadoop Based MapReduce to EC2

2009-04-07 02:103432
用户头像

发布了 133 篇内容, 共 34.9 次阅读, 收获喜欢 1 次。

关注

评论

发布
暂无评论
发现更多内容

openGauss内核:简单查询的执行

华为云开发者联盟

数据库 互联网 华为云

为什么生命科学企业都在陆续上云?

阿里云弹性计算

HPC 高性能计算 生命科学 基因测序

XTransfer技术新人进阶秘诀:不可错过的宝藏Mentor

XTransfer技术

职场新人 职场经验

如何抓手机的包进行分析,Fiddler神器或许能帮到您!

wljslmz

抓包 fiddler 6月月更

如何化解35岁危机?华为云数据库首席架构师20年技术经验分享

华为云开发者联盟

中年危机 经验分享 华为云

架构实战营 第 6 期 毕业设计

火钳刘明

#架构实战营 「架构实战营」

一文理解OpenStack网络

华为云开发者联盟

后端 网络

Volcano成Spark默认batch调度器

华为云开发者联盟

云计算 数据分析 后端

L2 元年,Arbitrum Nitro 升级带来更兼容高效的开发体验

TinTinLand

区块链+ 科技

面试官:你说你精通Redis,你看过持久化的配置吗?

阿Q说代码

redis aof rdb 数据持久化

牛客java选择题每日打卡Day1

京与旧铺

6月月更

GitHub 高赞的 Flutter 状态管理插件BLoC 简介

岛上码农

flutter ios 安卓开发 跨平台开发 6月月更

“阿里健康”们的逻辑早就变了

科技新知

优酷 Android 包瘦身治理思路全解

阿里巴巴文娱技术

治理 包大小

建木持续集成平台v2.5.0发布

Jianmu

开源 DevOps CI/CD Worker 建木CI

应用实践 | 海量数据,秒级分析!Flink+Doris 构建实时数仓方案

SelectDB

数据库 flink 数据分析 Doris 数仓

The Merge 过后,没有以太坊 2.0,只有共识层

TinTinLand

区块链 科技

架构实战营 第 6 期 毕业总结

火钳刘明

升哲科技 AI 智能防溺水服务上线

SENSORO

大数据 AI 物联网

主数据建设的背景

奔向架构师

数据仓库 主数据 6月月更

畅直播|针对直播痛点的关键技术解析

ZEGO即构

直播体验升级 首帧秒开

波卡生态发展不设限的奥义——多维解读平行链

One Block Community

区块链 科技

《各行业零代码企业应用案例集锦》正式发布

明道云

即构「畅直播」上线!提供全链路升级的一站式直播服务

ZEGO即构

Datakit 代理实现局域网数据统一汇聚

观测云

TDengine可通过数据同步工具 DataX读写

TDengine

数据库 tdengine 时序数据库 DataX

海泰前沿技术|隐私计算技术在医疗数据保护中的应用

电子信息发烧客

如何做到全彩户外LED显示屏节能环保

Dylan

LED显示屏 全彩LED显示屏 户外LED显示屏

AntDB数据库在线培训开课啦!更灵活、更专业、更丰富

亚信AntDB数据库

数据库 AntDB 培训学习 数据库·

我国SaaS产业的发展趋势与路径

小炮

非凸联合创始人李佐凡:将量化作为自己的终身事业

非凸科技

人工智能 机器学习 rust 量化交易 算法交易

Amazon EC2推出基于Hadoop的MapReduce_Java_Scott Delap_InfoQ精选文章