写点什么

Spark 和 Hadoop,孰优孰劣?

  • 2015-11-30
  • 本文字数:1175 字

    阅读完需:约 4 分钟

Spark 已经取代 Hadoop 成为最活跃的开源大数据项目。但是,在选择大数据框架时,企业不能因此就厚此薄彼。近日,著名大数据专家 Bernard Marr 在一篇文章中分析了Spark 和Hadoop 的异同。

Hadoop 和 Spark 均是大数据框架,都提供了一些执行常见大数据任务的工具。但确切地说,它们所执行的任务并不相同,彼此也并不排斥。虽然在特定的情况下,Spark 据称要比 Hadoop 快 100 倍,但它本身没有一个分布式存储系统。而分布式存储是如今许多大数据项目的基础。它可以将 PB 级的数据集存储在几乎无限数量的普通计算机的硬盘上,并提供了良好的可扩展性,只需要随着数据集的增大增加硬盘。因此,Spark 需要一个第三方的分布式存储。也正是因为这个原因,许多大数据项目都将 Spark 安装在 Hadoop 之上。这样,Spark 的高级分析应用程序就可以使用存储在 HDFS 中的数据了。

与 Hadoop 相比,Spark 真正的优势在于速度。Spark 的大部分操作都是在内存中,而 Hadoop 的 MapReduce 系统会在每次操作之后将所有数据写回到物理存储介质上。这是为了确保在出现问题时能够完全恢复,但 Spark 的弹性分布式数据存储也能实现这一点。

重要通知:接下来 InfoQ 将会选择性地将部分优秀内容首发在微信公众号中,欢迎关注 InfoQ 微信公众号第一时间阅读精品内容。

另外,在高级数据处理(如实时流处理和机器学习)方面,Spark 的功能要胜过 Hadoop。在 Bernard 看来,这一点连同其速度优势是 Spark 越来越受欢迎的真正原因。实时处理意味着可以在数据捕获的瞬间将其提交给分析型应用程序,并立即获得反馈。在各种各样的大数据应用程序中,这种处理的用途越来越多,比如,零售商使用的推荐引擎、制造业中的工业机械性能监控。Spark 平台的速度和流数据处理能力也非常适合机器学习算法。这类算法可以自我学习和改进,直到找到问题的理想解决方案。这种技术是最先进制造系统(如预测零件何时损坏)和无人驾驶汽车的核心。Spark 有自己的机器学习库 MLib ,而 Hadoop 系统则需要借助第三方机器学习库,如 Apache Mahout

实际上,虽然 Spark 和 Hadoop 存在一些功能上的重叠,但它们都不是商业产品,并不存在真正的竞争关系,而通过为这类免费系统提供技术支持赢利的公司往往同时提供两种服务。例如,Cloudera 就既提供 Spark 服务也提供 Hadoop 服务,并会根据客户的需要提供最合适的建议。

Bernard 认为,虽然 Spark 发展迅速,但它尚处于起步阶段,安全和技术支持基础设施方还不发达。在他看来,Spark 在开源社区活跃度的上升,表明企业用户正在寻找已存储数据的创新用法。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群(已满),InfoQ 读者交流群(#2))。

2015-11-30 18:007391
用户头像

发布了 1008 篇内容, 共 423.4 次阅读, 收获喜欢 346 次。

关注

评论

发布
暂无评论
发现更多内容

技术分享 | 做到这几点,你也能成为 BAT 的抢手人!

霍格沃兹测试开发学社

免安装免配置环境的免费 ios 调试工具 sib 来啦

霍格沃兹测试开发学社

技术分享 | 接口自动化实战演练及测试考察点

霍格沃兹测试开发学社

技术分享 | Jenkins 多任务关联

霍格沃兹测试开发学社

Google 测试总监聊如何经营成功的测试职业生涯

霍格沃兹测试开发学社

技术分享 | 接口自动化测试中,文件上传该如何测试?

霍格沃兹测试开发学社

技术分享 | Jenkins 持续集成体系介绍

霍格沃兹测试开发学社

技术分享 | 代码覆盖率集成

霍格沃兹测试开发学社

测试过程中遇到的那些奇葩bug

霍格沃兹测试开发学社

技术分享 | 接口测试中,请求超时该怎么办?

霍格沃兹测试开发学社

技术分享 | Jenkins 如何参数化job ?

霍格沃兹测试开发学社

技术分享 | 静态扫描体系集成

霍格沃兹测试开发学社

测试工程师六大能力模型

霍格沃兹测试开发学社

React-hooks面试考察知识点汇总

beifeng1996

React

技术分享 | 接口自动化测试如何处理 Header cookie

霍格沃兹测试开发学社

Java or Python?测试开发工程师如何选择合适的编程语言?

霍格沃兹测试开发学社

技术分享 | 接口自动化测试中,如何做断言验证?

霍格沃兹测试开发学社

Grafana:灵活的配置

琦彦

配置 Grafana 10月月更

技术分享 | 单元测试体系集成

霍格沃兹测试开发学社

技术分享 | Jenkins通过什么方式报警?

霍格沃兹测试开发学社

测试人生 | 二线城市年薪30W+,疫情之下涨薪超过100%,是怎么做到的?

霍格沃兹测试开发学社

技术分享 | 接口自动化测试如何进行认证?

霍格沃兹测试开发学社

技术分享 | Jenkins job 机制该如何使用?

霍格沃兹测试开发学社

Zadig 完成 100% 开源:开启软件交付 3.0 时代

霍格沃兹测试开发学社

技术分享 | 接口自动化测试,如何实现多套环境的自动化测试?

霍格沃兹测试开发学社

Kubernetes高可用性监控:Thanos的部署

琦彦

Kubernetes Thanos 10月月更

技术分享 | Jenkins 节点该如何管理?

霍格沃兹测试开发学社

技术分享 | Jenkins中,如何管理用户及其相对应权限?

霍格沃兹测试开发学社

区块链游戏dapp系统开发游戏链改模式定制

开发微hkkf5566

技术分享 | 如何使用代理配置快速定位接口测试脚本问题?

霍格沃兹测试开发学社

技术分享 | 接口自动化中如何完成接口加密与解密?

霍格沃兹测试开发学社

Spark和Hadoop,孰优孰劣?_大数据_谢丽_InfoQ精选文章