9月7日-8日,相约 2023 腾讯全球数字生态大会!聚焦产业未来发展新趋势! 了解详情
写点什么

Amazon 在 Hadoop 2010 峰会上带来 Elastic MapReduce 更新

  • 2010-07-14
  • 本文字数:1165 字

    阅读完需:约 4 分钟

Amazon Elastic MapReduce (EMR) 的总经理 Peter Sirota 在 2010 年的 Hadoop 峰会 上作了主题演讲,介绍了一个由 Amazon 托管的 Hadoop 服务,并且还包括了基于 web 管理工具。Sirota 指出了如下一些来自客户的常见的用例:

  • 数据挖掘与商业智能,包括日志处理,点击流分析,相似性分析,精准广告投放 (他认为这一用例比重非常大)。
  • 数据仓库,特别是使用 Pig 和 Hive。
  • 生物信息技术 (基因分析)。
  • 金融模拟 (例如,蒙特卡洛模拟)。
  • 文件处理 (例如,jpeg 大小改修)。
  • web 索引。

Sirota 谈到,用户可以在 Amazon 的 S3 存储系统中存储以百计的 PB 级的数据。他宣称 Amazon 已经提供支持基于 Hadoop 0.20 的新的软件栈,同时基于 Hadoop 0.18 的设施“也不会这么快退休”。Amazon 的 EMR 软件与管理控制台相集成,并且能原生支持 Amazon 的 S3 云存储设施。

新软件栈 旧软件栈 Hadoop 0.20 Hadoop 0.18 Pig 0.6 Pig 0.3 Hive 0.5 Hive 0.4 Cascading 1.1 Cascading 1.1Sirota 注意到,客户要求更高的集群灵活性,更好的应用开发工具,更好的分析能力和更多的支持选择。接下来他公告了新功能和在各个领域的合作。 Sirota 表示,他们支持用户在运行的集群中增加和移除节点,这能够调整运行时的任务——将计算能力加倍能够将原来需要 6 小时完成的任务减小到 3 小时完成。他同时指出能够支持用户方便的更改集群的大小,可以使用较小的节点集合来使用 Hive 处理查询,用较大的节点集合来进行更新 Hadoop 系统的批处理过程,与此同时保证 EMR 集群正常的运行。

Sirota 还预告了即将推出的 elastic mapreduce 的即期价格 (spot pricing),这是超出 EC2 计量而使用 EMR 的 Amazon市场价格的延伸。它允许竞拍一定量的附加节点。如果在该出价下还有可获得的容量,那么节点就会被加入到EMR 集群,尽管在市场价超过该竞拍价时这些节点会被移去。他给出了一个使用四个随需节点,并加入第五个附加节点的任务作为例子。这一选项可以为计算环境节省成本,而对于计算完成的速度又提供了很大的灵活性。

Sirota 同时还宣布了 EMR 新的银牌和金牌支持服务级别,金牌支持包括 7x24 以及紧急情况下 1 小时的响应时间。Sirota 接着介绍了 Amazon 的合作伙伴,与 Karmasphere 在开发工具和监控方展开合作, Datameer 提供商业用户分析的合作, Microstrategy 提供总体的 Hadoop 支持服务,包括 EMR 支持,以及通过 Hive 与他们的商业智能工具集成。

Amazon 在 Hadoop 峰会上召开了一个 Elastic MapReduce 的客户座谈会,专门介绍了来自 Razorfish,Netflix ,Spiral Genetic 以及 Coldlight Solutions 的案例, James Hamilton 的博文对此作了总结。

Amazon 表明了其对于提升 Elastic MapReduce 有着显著的持续投入,并对于使用托管服务搭建的大规模应用给出了一些有趣的见解。

查看英文原文: Amazon Elastic MapReduce Updates from Hadoop Summit 2010

活动推荐:

2023年9月3-5日,「QCon全球软件开发大会·北京站」 将在北京•富力万丽酒店举办。此次大会以「启航·AIGC软件工程变革」为主题,策划了大前端融合提效、大模型应用落地、面向 AI 的存储、AIGC 浪潮下的研发效能提升、LLMOps、异构算力、微服务架构治理、业务安全技术、构建未来软件的编程语言、FinOps 等近30个精彩专题。咨询购票可联系票务经理 18514549229(微信同手机号)。

2010-07-14 08:342064
用户头像

发布了 133 篇内容, 共 33.2 次阅读, 收获喜欢 1 次。

关注

评论

发布
暂无评论
发现更多内容

Android与JS的交互:JsBridge的简单使用

dstweihao

Java android

看完这篇 Session、Cookie、Token,和面试官扯皮就没问题了

cxuan

https

游戏夜读 | 怎么让游戏跑起来?

game1night

python实现·十大排序算法之插入排序(Insertion Sort)

南风以南

Python 排序算法 插入排序

区块链2.0--以太坊概述

皮卡丘的猫

Go: Trace包探秘

陈思敏捷

原理 Go 语言

回“疫”录(23):如果岁月可回头

小天同学

疫情 个人成长 回忆录 现实纪录 纪实

一文读懂Java注解

JFound

Java

从40万美元创业到执掌5500亿美元的帝国,聊聊《苏世民:我的经验与教训》这本书

万佳

读书笔记 商业 苏世民 金融 企业管理

new() 和 make的区别

陈思敏捷

源码 源码分析 Go 语言

prometheus中honor_labels配置项的源码分析

陈思敏捷

Prometheus Go 语言

学会独立思考的前提

fahsa

自我提升

我是如何拿下PMP认证和系统架构设计师考试的?

Nick

RocketMQ - 什么是RocketMQ

Java收录阁

RocketMQ

Flask-SQLAlchemy 多表对单模型

Leetao

Python flask 编程语言 flask-sqlalchemy

SpringCloud之服务提供者与消费者

北漂码农有话说

如何为一家移动游戏公司制定产品策略(严肃长文)

谢锐 | Frozen

游戏出海 手机游戏

圆圈正义 - 读后感

石云升

读书笔记 法律 公平 现实

《零基础学 Java》 FAQ 之 11-为什么构造方法中调用重载的构造方法必须得是在第一行

臧萌

《零基础学 Java》 FAQ 之 10-Scanner里nextInt的小坑

臧萌

Java

Go: g0, 特殊的goroutine

陈思敏捷

原理 Go 语言

Go: 应该使用指针还是结构体副本?

陈思敏捷

struct 原理 pointer Go 语言

【Howe 学 JAVA】断点续传原理精析及简单实现

Howe

Java 断点续传

用 R 语言打个印咋就这么费事儿呢

张利东

可视化 R

突然的自我

月白

自我思考

力扣刷题盛行,风气由何而来?

南湾小猪

刷题

Mysql增量更新-ON DUPLICATE KEY UPDATE

BerryMew

MySQL 增量更新 ON DUPLICATE KEY UPDATE

Dubbo - 初识Apache Dubbo

Java收录阁

dubbo

谈谈控制感(8):元控制感

史方远

职场 心理 成长

Dig101-Go之如何在函数内修改指针

newbmiao

dereference pointer Go 语言

JUC整理笔记一之细说Unsafe

JFound

Java

  • 扫码添加小助手
    领取最新资料包
Amazon在 Hadoop 2010峰会上带来 Elastic MapReduce更新_架构_Ron Bodkin_InfoQ精选文章