写点什么

Hadoop 即服务提供商 Qubole 现在运行在 Google Compute Engine 上

  • 2013-12-29
  • 本文字数:1088 字

    阅读完需:约 4 分钟

Qubole 是一家托管的 Hadoop 即服务提供商,用户现在能够在 Google Compute Engine(GCE)上使用该服务了。在这之前 Qubole 只能在 Amazon 的 AWS 上使用,在 Google 宣布对公众开放 GCE 之后不久 Qubole 就宣布了这一消息。

社区对该消息的反映大部分都是积极的,人们好像认为大数据主题会成为 GCE 潜在的杀手级应用。来自于 DataStax 的 Alex Popescu 这样写道:

如果你仔细看看这些内容,那么你将会注意到这样一个主题:覆盖来自于任意角度的数据;使用 DataStax 的 Cassandra/DSE 处理 OLTP,使用 DataTorrent 进行流处理,Qubole 用于 Hadoop,MapR 用于 Hadoop 这样的解决方案。我能够看见这种情况持续了一段时间,同时正在让 Google Compute Engine 成为 Amazon Web 服务的一个强力竞争者。

Hadoop 即服务(HaaS 也被称为云端 Hadoop)也带来了一些不同的选项:

  • 动摇你自己的部署,也就是在一个像 GCE 或者 EC2 这样的 IaaS 平台上安装 Apache Hadoop 或者一个分布式服务(例如 Cloudera、Hortonworks、MapR)。这样能够对运行的服务进行细粒度的控制,但是也带来了部署和管理上的复杂性。
  • 预打包的服务,例如 Amazon 的 EMR 或者 Savvis 的大数据服务,该服务有助于降低部署复杂性并且为已安装的服务提供中层控制。
  • 托管的 HaaS,例如 Qubole 和 Mortar ,有希望降低部署和管理的复杂性

与本地部署相比 HaaS 的关键区别在于:弹性、现货定价、计算和存储之间的分离(例如像Amazon S3 或者 Google 云存储这样的最终一致性对象存储)和增强的安全标准。像 Qubole 这样的托管 HaaS 服务往往用于开发场景,用于评估和测试、短暂运行的分析工作以及实现混合云设置。但是它们也有各自的一些限制:

  • 将数据放入云端同时再次将其从云端取出都有它们各自的价格标记。
  • 由于法律规定可能会涉及到隐私和数据保护问题,这可能会阻止或者限制用例。
  • 24/7 操作的 TCO 必须在具体分析的基础上进行计算。
  • Hadoop、Hive 等服务和最终一致性对象存储一般会存在不匹配的情况。

Ashish Thusoo 和 Joydeep Sen Sarma 在 Facebook 工作期间丰富了自己运行 Hadoop 和 Hive 的经验,在那里他们管理着一个数据基础设施团队。然后,在 2012 年 6 月,他们创建了 Qubole ,并且在 2013 年 4 月获得了 700 万美元的 A 轮融资。Joydeep 深入介绍了他们在实现自己的 HaaS 服务时所面对的挑战,同时在他的 Hive London Meetup 谈话“云友好的Hadoop 和Hive ”中还对内部原理做了讲解。另外,Christian Prokopp (Rangespan 的数据科学家) 最近还写了一个详细的纲要以及Qubole 与EMR 之间的对比。

查看英文原文: Hadoop-as-a-Service Provider Qubole Now Runs on Google Compute Engine

2013-12-29 22:151359
用户头像

发布了 321 篇内容, 共 115.3 次阅读, 收获喜欢 18 次。

关注

评论

发布
暂无评论
发现更多内容

并发王者课-铂金9:互通有无-Exchanger如何完成线程间的数据交换

MetaThoughts

Java 多线程 并发

在数据库中如何查询表的创建时间?

华为云开发者联盟

数据库 日志 视图 GaussDB(DWS) 查找对象

如何利用极狐GitLab CI提高生产力?

极狐GitLab

ci

银行业智能运维的探索与实践

云智慧AIOps社区

银行数字化转型 智能运维

什么?C语言也能try...catch!

实力程序员

腾讯二面:Linux操作系统里一个进程最多可以创建多少个线程?

白亦杨

HashMap从入门到精通,原创好文,值得收藏!

wljslmz

Java hashmap java8 HashMap底层原理

替换 Spring Cloud,使用基于 Cloud Native 的服务治理

火山引擎开发者社区

云原生 后端 Service Mesh 服务网格

Go 学习笔记之 数组

架构精进之路

Go 语言 7月日更

统一缓存帝国 - 实战 Spring Cache

悟空聊架构

缓存 passjava 悟空聊架构 7月日更 Spring Cache

打造中国数字军人 数军科技携黑科技亮相军博会

科技热闻

百度交易中台之商品推广流程构建以及实现

百度Geek说

中台 软件架构 电商 交易

我还是没有忍住,于是乎我开通了lua语言学习专栏!

李阿柯

lua 专栏

4轮技术面+1轮HR面,成功拿到腾讯40k*16的Offer ,详解面试流程和真题解析

Java 程序员 架构 面试

【工作感悟】Android大厂高级面试题灵魂100问

欢喜学安卓

android 程序员 面试 移动开发

华为云薛浩:媒体业务进入全面云化时代,云原生成为必然选择

华为云开发者联盟

云原生 媒体 音视频 华为云

底层技术支撑智慧出行,汽车智能化发展下区块链大放异彩

旺链科技

区块链产业

一位年薪 180 万的蚂蚁金服大佬扔给我的笔记,建议看完

Java架构师迁哥

永续合约交易所开发,虚拟币合约交易系统源码

拖延背后的故事

卢卡多多

拖延症 7月日更

网安行业这几个熟悉又陌生的名词,啥帽子都清楚啦?

郑州埃文科技

我删库跑路失败了

程序员鱼皮

Java c++ Python Linux 服务器

KDD CUP 2021首届图神经网络大赛放榜,百度飞桨PGL获得2金1银

百度大脑

神经网络 百度

金九银十面试必备,“全新”突击真题宝典,阿里腾讯字节都稳了

Java 编程 程序员 架构 面试

union 分页/group/join 复杂查询(.net core/framework)

Spook

sql ORM

Python 绑定:从 Python 调用 C 或 C++

华为云开发者联盟

c c++ Python 函数 Python 绑定

RTC为何这么火?

anyRTC开发者

音视频 WebRTC RTC 实时通讯

使用tar 命令进行文件的归档和压缩

学神来啦

云计算 Linux 运维 linux运维

DataWorks赋能企业一站式数据开发治理能力

阿里云大数据AI技术

吹水、面试、进阶齐飞!Github霸榜的阿里分布式设计实录也太香了

Java架构师迁哥

【工作感悟】2021最值得加入的互联网公司有哪些

欢喜学安卓

android 程序员 面试 移动开发

Hadoop即服务提供商Qubole现在运行在Google Compute Engine上_DevOps & 平台工程_Michael Hausenblas_InfoQ精选文章