写点什么

Amazon EC2 推出基于 Hadoop 的 MapReduce

  • 2009-04-07
  • 本文字数:718 字

    阅读完需:约 2 分钟

对于如何将流行的 Apache Hadoop MapReduce 框架运行于 Amazon EC2 之上,老早之前就已经有教程了。今天 Amazon 通过 Amazon Elastic MapReduce 对其提供了官方支持,不断改善自身。从其产品页面可看到:

Amazon Elastic MapReduce 自动地在 Amazon EC2 实例上驱动一个 MapReduce 框架的 Hadoop 实现,将任务流中的数据分解为更小的块以用于并行处理 (“map”函数),并最终将处理后的数据重新组合在一起成为最后结果 (“reduce”函数)。Amazon S3 作为被分析的数据源,并作为最终结果输出的目的地。

Amazon Elastic MapReduce 的价格是在现有 EC2 的收费之上的 15% 比率。其 FAQ 上有一个关于价格和使用的完整列表。AWS的官方博客也提供了报道:

…Elastic MapReduce 的处理是围绕着任务流这一概念为中心来开展的。每个任务流包含一步或者多步。第一步从 Amazon S3 输入一定的数据,再将其分配给指定数量的运行 Hadoop 的 EC2 实例 (如果需要的话,驱动这一实例),完成所有的工作,再将结果写回 S3。每个步骤必须参考应用特定的“mapper”和 / 或“reducer”代码 (Java JARS 或是通过流模型使用的脚本代码)。我们同时还包含进了集合包,对一系列诸如和,最小,最大,历史图以及计数等等的公共操作提供了内置的支持。在你开始写代码之前就已经有很多事情搞定了! 我们提供了三种不同的访问 Elaastc MapReduce 的途径。你可以通过 Elastic MapReduce API 获取完全的控制,你也可以使用 Elastic MapRedue 命令行工具,或者在 AWS 管理控制台的 Elastic MapReduce 标签页通过点击进行操作!让我们分别来看每一个…

ZDNet 的 Dana Gardner 推测 这暗示了Amazone 将在商业智能市场推出新的产品。

查看英文原文: Amazon Rolls Out Hadoop Based MapReduce to EC2

2009-04-07 02:103796
用户头像

发布了 133 篇内容, 共 41.5 次阅读, 收获喜欢 1 次。

关注

评论

发布
暂无评论
发现更多内容

基于Java+vue开发的企业级人力资源管理系统

金陵老街

企业沟通平台私有部署,让沟通更高效数据更安全

BeeWorks

低代码开发框架 助力企业打造新时代技术底座

力软低代码开发平台

基于低代码平台少量编码完成软件开发

互联网工科生

系统开发 低代码开发 JNPF

软件测试 | AI大模型应用开发实训营来啦~ 大模型学习资料免费领

测试人

人工智能 程序员 AI 软件测试 大数据模型

2023-09-27:用go语言,在一个 n x n 的国际象棋棋盘上,一个骑士从单元格 (row, column) 开始, 并尝试进行 k 次移动。行和列是 从 0 开始 的,所以左上单元格是 (0

福大大架构师每日一题

福大大架构师每日一题

玩转 CODING 自动化助手,助力高效研发!

CODING DevOps

一文教你理解Kafka offset

越长大越悲伤

kafka

公共卫生的未来:智慧公厕来了

光明源智慧厕所

智慧厕所 智慧公厕

2023 Bonree ONE 秋季产品发布会:亮点抢先看!

博睿数据

运维 可观测性

腾讯大牛耗时1个月整理的"JVM学习笔记"深入底层,面面俱到!

小小怪下士

Java JVM

IM系统,WorkPlus如何成为企业即时通讯协作的首选?

BeeWorks

IM聊天系统

根据人类反馈进行强化学习的5大关键步骤

澳鹏Appen

大模型 数据训练 生成式AI LLM RLHF

支持私有化部署的WorkPlus,助您构建定制化的即时通讯平台

BeeWorks

测试流程复现第二弹!IoTDB 在国际数据库性能测试排行榜结果如何?

Apache IoTDB

开辟ICT新视野 直通华为云专家:一堂华为云Astro低代码启蒙课 ——华为云HCSD校园沙龙之西安站

云计算 软件开发 低代码 华为云

产品解读 | 数据服务平台:KDP

KaiwuDB

重磅发布|博睿数据IT运维最佳实践白皮书

博睿数据

运维 可观测性 白皮书

兼顾集群与个人实践环境,和鲸聚焦 AI4S 科研算力高效调度管理

ModelWhale

人工智能 算力 数据驱动 AI for Science 计算资源

免费但很全能,Amazon CodeWhisperer 让编程更快

科技热闻

专业私有化视频会议软件,WorkPlus Meet助力企业构建高效协作的沟通平台

BeeWorks

Docker 入门教程(简明易懂、零基础篇)

程序员万金游

#运维 #后端 #docker

DeFi 集成:扩大加密货币交易平台开发的视野

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 NFT开发 区块拉开发

打造次世代分析型数据库(四):几十张表关联?小Case!

腾讯云大数据

数据库

如何选择适合企业的移动应用管理平台?

BeeWorks

袋鼠云代码检查服务,揭秘高质量代码背后的秘密

袋鼠云数栈

大数据 数据中台 代码检查

兴业数金:基于悦数图数据库的智能大数据云平台获 “2023 IDC中国 未来企业大奖”

最新动态

2000字说清音视频在社交娱乐场景中的应用!

X2Rtc

音视频 RTC 社交娱乐 融合通信

Amazon EC2推出基于Hadoop的MapReduce_Java_Scott Delap_InfoQ精选文章