“AI 技术+人才”如何成为企业增长新引擎?戳此了解>>> 了解详情
写点什么

Hadoop 不再权威,开源大数据的未来何去何从?

  • 2019-06-21
  • 本文字数:1682 字

    阅读完需:约 6 分钟

Hadoop不再权威,开源大数据的未来何去何从?


屈指算来,Hadoop 已经诞生 13 年了。它最早诞生于 2006 年,并在 2008 年成为 Apache 顶级项目。诞生后没过多久就成为了互联网行业大数据计算的标准配置,同时也成了 Apache 软件基金会的金牌项目之一。但从 2016 年开始,国内外就开始出现唱衰 Hadoop 的声音,以 Hadoop 为代表的开源大数据的未来何去何从?


十年前,三家资金雄厚的初创公司 Cloudera、Hortonworks 和 MapR 开始围绕 Hadoop 开源生态系统中的产品和服务进行商业化。有关 Hadoop 的炒作在 2014 年初达到了巅峰。当时,Cloudrea 筹集了大约 9 亿美元的巨额融资,估值为 41 亿美元。


“最近 Cloudrea 和 MapR 的争端上了很多媒体的头条,不由让公众想知道这场争端对大数据的未来意味着什么。”Unravel Data 首席执行官 Kunal Aganwal 表示。“企业对数据的兴趣是正在减弱吗?完全没有的事。只是由于大数据向公用云快速转型,导致这些公司步履蹒跚,这些专为本地部署而设计的平台已经没有什么增长潜力了。由于大数据对于高弹性计算的需求,它天然更适合云计算。此外,现代数据系统正变得越来越复杂,它们在本地管理要比在云端管理更加困难。随着新的数据栈横空出世,Hadoop 不再是权威的大数据技术了:像 Spark 和 Kafka 这样的技术正在兴起,以支持使用人工智能和机器学习的现代数据应用。Hadoop 不会消失,也不是所有的数据工作负载都会迁移到云端,但公有云和 Spark 等技术将越来越多地定义大数据,任何不积极支持它们的供应商将会继续蒙受损失。”


Hortonworks 于 2014 年面市,Cloudera 紧随其后,于 2017 年上市。但随着市场竞争的加剧,客户开始迅速转向云端,两家公司的股价都出现了暴跌。去年秋季,Cloudrea 和 HortonWorks 合并,但合并后的公司股票持续下跌,市值缩水了一半。MapR 在四年多前就宣布了上市计划,但从未贯彻执行,而是选择在 2016 年和 2017 年再筹集两轮风险投资。最近有消息称,如果 MapR 不能获得更多资金,可能会削减多达 122 个工作岗位,并关闭位于加利福尼亚州圣克拉拉的总部。


“最近关于 Cloudrea 和 MapR 的新闻引发了关于Hadoop 未来何去何从的争论,以及所有用于管理大数据工作负载的开源框架。”Clairvoiant 公司的首席执行官 Chandra Ambadipudi 评论道。“一个重要的因素是,Hadoop 在管理和利用它所需的资源方面被市场大大低估了。Hadoop 确实实现了它作为低成本、可伸缩且健壮的开源解决方案的承诺。但管理其复杂性所需的人才和数据工程师的数量,以及他们的短缺,都已经达到了顶点。”


现在,Cloudrea 成为唯一重要的 Hadoop 公司,在经历 MapR 新闻风波之后,以下是关于开源大数据平台未来从本地到云端(以及 Microsoft、AWS、Google 等云计算巨头)的一些见解和想法。


  • Hadoop 的可行性饱受质疑,并非因为它是一种槽糕的技术(实际上,Hadoop 技术非常好),而是因为将 Hadoop 作为开源产品来管理太过复杂导致面临人才瓶颈。与炒作相比,所需的资源水平被大大低估了。

  • 问题是,云计算巨头是否会完全占据这个领域?Databricks 和 Snowflake 正在着手解决与大数据实现方面的技能差距。

  • 生态系统中仍然会出现整合行为(就像 Microsoft 收购 MapR 一样),只有时间才能告诉我们,这一切对生态系统是否有益(厂商锁定)。

  • 与此类似,正在崛起的其他大数据平台如 Apache Kafka,也可能面临开源解决方案的挑战(就像 Cloudrea 作为开源 Hadoop 的发行商面临的挑战一样)。


“随着云计算巨头继续‘吞噬世界’,像 Snowflake 和 DataBricks 这样的平台也在崛起,开始尝试弥合大数据人才和技能的鸿沟,”Ambadipudi 补充道,“如果市场出现进一步的整合,比如有某些云计算公司收购了 MapR 和其他 Hadoop 公司,我将不会感到惊讶。由于低延迟和可伸缩性,Kafka 越来越受欢迎,并得到了广泛的采用。但就像 Cloudera 利用 Hadoop 一样,Confluent 的 Kafka 企业版做的也是同样的事情,所以他们也可能面临与开源平台相同的挑战。无论采用哪一种大数据实现方式,目前所需的技能都是短缺的,而且对专家管理服务的需求仍将居高不下。”


英文原文:


https://insidebigdata.com/2019/06/14/the-future-of-open-source-big-data-platforms/


公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2019-06-21 12:006306
用户头像

发布了 520 篇内容, 共 236.4 次阅读, 收获喜欢 1543 次。

关注

评论

发布
暂无评论
发现更多内容

基于卷积神经网络的猫狗识别

Peter

机器学习 深度学习 tensorflow keras

Docker容器简介、优缺点与安装

乌龟哥哥

4月月更

自己动手写Docker系列 -- 5.7实现通过容器制作镜像

Go Docker 4月月更

“双碳”强风吹拂:数据中心的绿色改革图谱

脑极体

Python 报错 ValueError list.remove(x) x not in list 解决办法

AlwaysBeta

Python 编程

使用 Helm 部署 GraphScope

6979阿强

大数据 图计算 GraphScope 图分析 图数据

读《Software Engineering at Google》(03)

术子米德

架构师成长笔记

在线CSV转Excel工具

入门小站

工具

用 GraphScope 像 NetworkX 一样做图分析

6979阿强

大数据 图计算 GraphScope 图分析 图数据

深入浅出 Ext4 块和 Inode 分配器的优化(上)

焱融科技

云计算 高性能 文件存储 文件系统

Docker 实战教程之从入门到提高(三)

Jerry Wang

Docker 容器 虚拟化 容器镜像 4月月更

[Day14]-[动态规划]四键盘问题

方勇(gopher)

LeetCode 数据结构与算法、

在 K8s 上运行 GraphScope

6979阿强

大数据 图计算 GraphScope 图分析 图数据

jupyter notebook换皮肤

Peter

Python 机器学习 数据分析 Jupyter Notebook

seaborn绘制箱型图

Peter

可视化 数据可视化 seaborn

从 Redux 源码谈谈函数式编程

有道技术团队

JavaScript Redux

Flutter 2.0的路由把我搞蒙了!!!

岛上码农

flutter 路由 移动端开发 4月月更 跨平台开发

一文带你搭建RocketMQ源码调试环境

悟空聊架构

RocketMQ 4月日更 悟空聊架构 4月月更

基于机器学习算法的钢材缺陷检测分类

Peter

Python 决策树 随机森林 集成学习 LightGBM

图计算 101:图计算的类型、语言与系统

6979阿强

大数据 图计算 GraphScope 图分析 图数据

从安装到编译: 10分钟教你在本地使用和开发GraphScope

6979阿强

大数据 图计算 GraphScope 图分析 图数据

GraphScope v0.12.0 版本发布

6979阿强

大数据 图计算 GraphScope 图分析 图数据

万字长文:直击关于Docker所必须了解的知识

穿过生命散发芬芳

Docker 4月月更

源声|操作系统十年磨一剑,幕后的坚挺、不懈与客户第一

OpenTEKr

Linux 开源 操作系统 社区运营

大厂工程师所热衷的DPDK到底是个什么东西?

赖猫

Linux 网络协议栈 DPDK

腾讯阿里工程师所热衷的DPDK到底是个什么东西?该如何学习?

Linux服务器开发

Linux服务器开发 DPDK C++后台开发 Linux后台开发 虚拟化技术

在线IEEE浮点二进制计算器工具

入门小站

工具

企业如何进行信息化

秋去冬来春未远

数字化 信息化管理 如何信息化 信息化规律

ThreadLocal理解及使用

Rubble

4月日更 4月月更

linux之chroot命令

入门小站

Linux

读《Software Engineering at Google》(04)

术子米德

架构师成长笔记

Hadoop不再权威,开源大数据的未来何去何从?_AI&大模型_Daniel Gutierrez_InfoQ精选文章