数字化转型浪潮中,金融行业如何破局?获取学习视频 了解详情
写点什么

Google 抛弃 MapReduce 使用 Cloud Dataflow

  • 2014 年 6 月 27 日
  • 本文字数:1134 字

    阅读完需:约 4 分钟

2004 年 Google 发表了一篇非常具有影响力的论文向全世界介绍了 MapReduce 框架,该框架可以把一个应用程序分解为许多并行计算指令,跨大量的计算节点运行非常巨大的数据集。时至今日,MapReduce 已经成为并行分布式计算领域的一个高度流行的基础设施和编程模型,它是 Apache Hadoop 的基础,被很多知名厂商所使用为其客户提供优质的数据服务。但是从最近在 San Francisco 召开的 Google I/O 大会上获悉 Google 已经抛弃了 MapReduce 框架转而使用一个新的云分析系统,它的名字叫做 Cloud Dataflow。来自于 Data Center Knowledge 的 Yevgeniy Sverdlik 就发表了一篇文章对此做了介绍,下面是编者按照其文章组织的一些内容。

Google 之所以抛弃 MapReduce 的原因很可能是它已经难以处理 Google 目前所要分析的数据量了。Mountain View 公司负责技术基础设施的高级副总裁 Urs Hölzle 说:一旦数据量达到了 PB 级 MapReduce 就会变得难以处理。在 San Francisco 召开的 Google I/O 大会上 Hölzle 做了一个主题演讲,他提到他们从几年之前就已经不再使用 MapReduce 了。

对于 Cloud Dataflow Google 将会把它作为云平台上的一个服务提供给开发者,这些服务并没有 MapReduce 那样的扩展限制。Hölzle 说“Cloud Dataflow 是十多年分析经验的结晶,它将比市面上任何其他的系统运行的更快,扩展性也更好”。

“Cloud Dataflow 是一个完全托管的服务,它能够自动优化、部署、管理和扩展。它能够让开发者很容易地使用统一的编程为批处理和流服务创建复杂的管道”Hölzle 表示。

谷歌想到的这些所有的特性处理都无法在 MapReduce 上完成:它很难迅速地获取数据,它需要很多不同的技术,批处理和流无关,同时还需要部署并运维 MapReduce 集群。

Hölzle 还在他的主题演讲上展示了谷歌云平台上的一些其他的新服务:

  • Cloud Save是一个 API,它使应用程序能够将单个用户的数据保存在云端或其他地方,同时使用它不需要任何服务器端的编码。 Google PaaS(提供 App Engine)用户和 IaaS(提供 Compute Engine)用户都可以利用这个特性构建 App。
  • Cloud Debugging 让开发者能够更容易地筛选出部署在云端多台服务器上的软件代码中的 bug。
  • Cloud Tracing 提供了不同组之间的延迟统计(例如数据库服务调用的延迟)和分析报告。
  • Cloud Monitoring 是一款智能监控系统,它是与 Stackdriver(谷歌 5 月份收购的一个云监控初创公司)集成而产生的结果。该系统监控云基础设施资源,例如磁盘和虚拟机,还有 Google 服务的服务级别以及十几个非谷歌提供的开源软件包。

感谢景琦对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2014 年 6 月 27 日 23:346789
用户头像

发布了 321 篇内容, 共 109.3 次阅读, 收获喜欢 12 次。

关注

评论

发布
暂无评论
发现更多内容

oeasy教您玩转vim - 3 - # 打开文件

o

云计算重塑生命科学行业,北鲲云加速生物制药企业转型

北鲲云

互联网寒冬!大厂Android开发面试解答

欢喜学安卓

android 程序员 面试 移动开发

Python代码阅读(第3篇):列表的最小公倍数

Felix

Python 编程 Code Programing 阅读代码

oeasy教您玩转vim - 3 - # 打开文件

o

Vue进阶(七):走近 package.json

No Silver Bullet

Vue npm 8月日更

架构实战营 学习总结

👈

架构实战营

聊聊Go语言中的数组与切片

架构精进之路

8月日更

测试开发之系统篇-按需创建测试虚拟机

禅道项目管理

虚拟机 自动化测试 测试开发

Nginx的常用功能总结

杜少雄

Java nginx 8月日更

团队对质量负责,“我”可以不负责?

BY林子

敏捷测试 责任流程模型

Flutter 的 runApp 与三棵树诞生流程源码分析

工匠若水

flutter android 8月日更

netty系列之:netty架构概述

程序那些事

Java Netty nio 程序那些事

大佬分享开发经验!2021年华为Android面试真题解析

欢喜学安卓

android 程序员 面试 移动开发

跟我学AI建模:分子动力学仿真模拟之DeepMD-kit框架

华为云开发者联盟

AI 仿真 分子动力学 分子 建模

中国大学 MOOC Android 性能优化:冷启动优化总结

有道技术团队

大前端 安卓 网易有道

怎样评估选型一个企业软件产品?

明道云

kubernetes入门:使用kubeadm搭建master,亲测无异常

小鲍侃java

8月日更

十大排序算法--归并排序

Ayue、

排序算法 8月日更

为什么将网络虚拟化与实现服务器虚拟化不同?

九河云安全

【Flutter 专题】77 图解历史 Android Native 项目接入 Flutter Module

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 8月日更

kafka日志写入logstash

Rubble

Logstash Kafk 8月日更

架构实战营 毕业设计

👈

架构实战营

秒杀系统设计

Vincent

架构训练营

从 Docker 中安装启动 Druid

HoneyMoose

oeasy教您玩转vim - 1 - # 存活下来 🥊

o

手撸二叉树之平衡二叉树

HelloWorld杰少

数据结构与算法 8月日更

Docker 集群安装时的服务和进程分配

HoneyMoose

手把手教你在Windows和Linux下安装Redis及了解Redis基本操作

Regan Yue

redis Linux windows 8月日更

oeasy教您玩转vim - 2 - # 使用帮助

o

vim

4k/8k超高清时代,如何利用媒体处理技术加速数字化升级

4k/8k超高清时代,如何利用媒体处理技术加速数字化升级

Google抛弃MapReduce使用Cloud Dataflow_Google_孙镜涛_InfoQ精选文章