【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

Google 抛弃 MapReduce 使用 Cloud Dataflow

  • 2014-06-27
  • 本文字数:1134 字

    阅读完需:约 4 分钟

2004 年 Google 发表了一篇非常具有影响力的论文向全世界介绍了 MapReduce 框架,该框架可以把一个应用程序分解为许多并行计算指令,跨大量的计算节点运行非常巨大的数据集。时至今日,MapReduce 已经成为并行分布式计算领域的一个高度流行的基础设施和编程模型,它是 Apache Hadoop 的基础,被很多知名厂商所使用为其客户提供优质的数据服务。但是从最近在 San Francisco 召开的 Google I/O 大会上获悉 Google 已经抛弃了 MapReduce 框架转而使用一个新的云分析系统,它的名字叫做 Cloud Dataflow。来自于 Data Center Knowledge 的 Yevgeniy Sverdlik 就发表了一篇文章对此做了介绍,下面是编者按照其文章组织的一些内容。

Google 之所以抛弃 MapReduce 的原因很可能是它已经难以处理 Google 目前所要分析的数据量了。Mountain View 公司负责技术基础设施的高级副总裁 Urs Hölzle 说:一旦数据量达到了 PB 级 MapReduce 就会变得难以处理。在 San Francisco 召开的 Google I/O 大会上 Hölzle 做了一个主题演讲,他提到他们从几年之前就已经不再使用 MapReduce 了。

对于 Cloud Dataflow Google 将会把它作为云平台上的一个服务提供给开发者,这些服务并没有 MapReduce 那样的扩展限制。Hölzle 说“Cloud Dataflow 是十多年分析经验的结晶,它将比市面上任何其他的系统运行的更快,扩展性也更好”。

“Cloud Dataflow 是一个完全托管的服务,它能够自动优化、部署、管理和扩展。它能够让开发者很容易地使用统一的编程为批处理和流服务创建复杂的管道”Hölzle 表示。

谷歌想到的这些所有的特性处理都无法在 MapReduce 上完成:它很难迅速地获取数据,它需要很多不同的技术,批处理和流无关,同时还需要部署并运维 MapReduce 集群。

Hölzle 还在他的主题演讲上展示了谷歌云平台上的一些其他的新服务:

  • Cloud Save是一个 API,它使应用程序能够将单个用户的数据保存在云端或其他地方,同时使用它不需要任何服务器端的编码。 Google PaaS(提供 App Engine)用户和 IaaS(提供 Compute Engine)用户都可以利用这个特性构建 App。
  • Cloud Debugging 让开发者能够更容易地筛选出部署在云端多台服务器上的软件代码中的 bug。
  • Cloud Tracing 提供了不同组之间的延迟统计(例如数据库服务调用的延迟)和分析报告。
  • Cloud Monitoring 是一款智能监控系统,它是与 Stackdriver(谷歌 5 月份收购的一个云监控初创公司)集成而产生的结果。该系统监控云基础设施资源,例如磁盘和虚拟机,还有 Google 服务的服务级别以及十几个非谷歌提供的开源软件包。

感谢景琦对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2014-06-27 23:347009
用户头像

发布了 321 篇内容, 共 115.6 次阅读, 收获喜欢 18 次。

关注

评论

发布
暂无评论
发现更多内容

追光进行时:沿着全光运力的新航道,加速驶向算力时代

脑极体

算力

今年很火的AI绘画怎么玩

得物技术

嵌入式ARM设计编程(四) ARM启动过程控制

timerring

FPGA

「 Java基础-对象 」一篇文章讲清楚Java开发中如何更优雅的创建对象

小刘学编程

Java Builder 序列化 对象创建 new

StudioOne6免费试用版下载及版本功能介绍

茶色酒

StudioOne6 StudioOne

LeetCode题解:1237. 找出给定方程的正整数解,枚举,详细注释

Lee Chen

算法 LeetCode

盘点和总结秒杀服务的功能设计及注意事项技术体系

做梦都在改BUG

Java 秒杀系统

一款好的低代码开发平台应该是什么样?

YonBuilder低代码开发平台

CleanMyMac2023电脑版免费下载教程

茶色酒

CleanMyMac X2023

SpringBoot 容器刷新前回调ApplicationContextInitializer

做梦都在改BUG

Java spring Spring Boot

别再找借口了!找不到工作就好好学一下这份16W字Java面试合集

做梦都在改BUG

Java java面试 Java八股文 Java面试题 Java面试八股文

冰河指南AI技术社区基于ChatGPT正式启动运营

冰河

人工智能 程序员 AI 架构师 ChatGPT

chatGPT:探讨如何实现自动化测试场景

夏兮。

自动化测试 selenium ChatGPT

户外交通信息led显示屏有以下特点才正规

Dylan

安装 LED显示屏 户外LED显示屏

CleanMyMac2023测试版功能介绍

茶色酒

CleanMyMac X CleanMyMac X2023

聊聊如何利用redis实现多级缓存同步

做梦都在改BUG

Java redis 缓存 多级缓存

2023-02-17:sdl是跨平台的多媒体开发库,请问用go语言如何调用?

福大大架构师每日一题

golang 音视频 SDL 流媒体 福大大

架构实战营模块9作业

张建闯

架构实战营

Guitar Pro8吉他软件最新版安装下载教程

茶色酒

Guitar Pro8

Teradata退出中国背后:云数仓成为行业主流发展趋势

酷克数据HashData

嵌入式ARM设计编程(五) 实现信号的FIR滤波操作

timerring

arm

HashMap每次扩容时,为什么都必须是2的N次方?

做梦都在改BUG

阿里内部消息中间件合集:MQ+Kafka+体系图+笔记

做梦都在改BUG

Java kafka MQ 消息队列 消息中间件

CorelDRAW Graphics Suite2023最新版本号

茶色酒

CorelDRAW 2022 CorelDraw2023

Pandoc API 上手指南

晓鹤

Java高手速成 | Java web 实训之投票系统

TiAmo

Java Java web

华为游戏中心花瓣游戏开发者服务持续升级,赋能高效研运

最新动态

2023年中国直播电商发展洞察

易观分析

零售 直播 电商

6 理解业务概念和业务组件

涛哥 数字产品和业务架构

企业架构 业务架构

云原生的基建:我理解的可观测性和OpenTelemetry

agnostic

可观测性 OpenTelemetry

LeetCode题解:1237. 找出给定方程的正整数解,二分查找,详细注释

Lee Chen

JavaScript 算法 LeetCode 二分查找

Google抛弃MapReduce使用Cloud Dataflow_Google_孙镜涛_InfoQ精选文章