写点什么

Amazon EC2 推出基于 Hadoop 的 MapReduce

  • 2009-04-07
  • 本文字数:718 字

    阅读完需:约 2 分钟

对于如何将流行的 Apache Hadoop MapReduce 框架运行于 Amazon EC2 之上,老早之前就已经有教程了。今天 Amazon 通过 Amazon Elastic MapReduce 对其提供了官方支持,不断改善自身。从其产品页面可看到:

Amazon Elastic MapReduce 自动地在 Amazon EC2 实例上驱动一个 MapReduce 框架的 Hadoop 实现,将任务流中的数据分解为更小的块以用于并行处理 (“map”函数),并最终将处理后的数据重新组合在一起成为最后结果 (“reduce”函数)。Amazon S3 作为被分析的数据源,并作为最终结果输出的目的地。

Amazon Elastic MapReduce 的价格是在现有 EC2 的收费之上的 15% 比率。其 FAQ 上有一个关于价格和使用的完整列表。AWS的官方博客也提供了报道:

…Elastic MapReduce 的处理是围绕着任务流这一概念为中心来开展的。每个任务流包含一步或者多步。第一步从 Amazon S3 输入一定的数据,再将其分配给指定数量的运行 Hadoop 的 EC2 实例 (如果需要的话,驱动这一实例),完成所有的工作,再将结果写回 S3。每个步骤必须参考应用特定的“mapper”和 / 或“reducer”代码 (Java JARS 或是通过流模型使用的脚本代码)。我们同时还包含进了集合包,对一系列诸如和,最小,最大,历史图以及计数等等的公共操作提供了内置的支持。在你开始写代码之前就已经有很多事情搞定了! 我们提供了三种不同的访问 Elaastc MapReduce 的途径。你可以通过 Elastic MapReduce API 获取完全的控制,你也可以使用 Elastic MapRedue 命令行工具,或者在 AWS 管理控制台的 Elastic MapReduce 标签页通过点击进行操作!让我们分别来看每一个…

ZDNet 的 Dana Gardner 推测 这暗示了Amazone 将在商业智能市场推出新的产品。

查看英文原文: Amazon Rolls Out Hadoop Based MapReduce to EC2

2009-04-07 02:103989
用户头像

发布了 133 篇内容, 共 44.7 次阅读, 收获喜欢 1 次。

关注

评论

发布
暂无评论
发现更多内容

vLLM V0架构和V1架构的解读

Jason黄

vLLM

十年大厂员工终明白:MySQL性能优化的尽头,是对B+树的极致理解

poemyang

B+树 PageCache I/O模型 B树 MySQL InnoDB

告别 Count Distinct 慢查询:StarRocks 高效去重全攻略

StarRocks

大数据分析 StarRocks 物化视图 全局字典 高效去重

可观测性体系建设五步心法:明业务、立规范、采数据、显特征、获洞见

巴辉特

可观测性 Observability

1989年的模糊测试技术如何在2018年仍发现Linux漏洞

qife122

漏洞挖掘 模糊测试

黑龙江二级等保:助力区域网络安全水平整体提升

等保测评

本地部署VS Code Server,如何用内网穿透实现无需公网IP远程访问?

贝锐

内网穿透 Server 端 Serverless VSCode WebIDE

大数据-71 Kafka 从 sendfile 到 mmap:高性能背后的 I/O 技术全解析

武子康

Java 大数据 kafka 分布式 消息队列

2025年十大BI软件权威排名:中大型企业数据分析平台深度解析

数据集成与治理

BI 分析工具

乔嘉林:创业路上,与自己赛跑|北京卫视《为你喝彩》

Apache IoTDB

HITCON CTF 2018 - 单行PHP挑战:会话上传与流过滤器链的极致利用

qife122

CTF 会话劫持

ReID/OSNet 算法模型量化转换实践

地平线开发者

自动驾驶 算法工具链 地平线征程6

BI 软件 FineBI——中大型企业数据分析降本增效首选

数据集成与治理

BI 报表

利用golang特性,设计一个QPS为500的服务器

Go 语言 限流器

检索增强生成(RAG)入门指南:构建知识库与LLM协同系统

qife122

人工智能 向量数据库

App 开发困局如何破?从成本高企到差异化突围的实战路径

Byte_Me

小程序 App APP开发

移动研发模式升级:从原生开发到全域跨端的技术突围

Byte_Me

小程序 App 移动开发 移动端 移动开发平台

BI 软件 FineBI——中大型企业数据分析降本增效首选

数据集成与治理

BI 分析工具

Trail of Bits晋级AIxCC决赛:AI驱动的网络安全攻防实战

qife122

AI安全 自动化修复

微店商品详情API开发指南

tbapi

微店API 微店数据采集 微店商品详情API 微店详情API

哈尔滨二级等保:为中小企业网络安全筑牢坚实防线

等保测评

日志管理演进:从基础到创新

运维有小邓

日志分析 日志管理 日志审计

中小企业为何必须实现全面网络可视化:技术架构与安全实践

qife122

网络可视化 自动化发现 SME网络安全

开发者说|EmbodiedGen:为具身智能打造可交互3D世界生成引擎

地平线开发者

自动驾驶 具身智能 地平线征程6

基于YOLOv8的文档图像表格检测与识别系统设计与实现(源码打包)

申公豹

人工智能

劳工管理系统(源码+文档+讲解+演示)

深圳亥时科技

利用S4U2Self实现Active Directory横向渗透

qife122

Active Directory 横向渗透

java: 无法访问org.springframework.ldap.core.LdapTemplate

刘大猫

人工智能 数据挖掘 算法 数据分析 大模型

Amazon EC2推出基于Hadoop的MapReduce_Java_Scott Delap_InfoQ精选文章