写点什么

Hadoop 不再权威,开源大数据的未来何去何从?

  • 2019-06-21
  • 本文字数:1682 字

    阅读完需:约 6 分钟

Hadoop不再权威,开源大数据的未来何去何从?


屈指算来,Hadoop 已经诞生 13 年了。它最早诞生于 2006 年,并在 2008 年成为 Apache 顶级项目。诞生后没过多久就成为了互联网行业大数据计算的标准配置,同时也成了 Apache 软件基金会的金牌项目之一。但从 2016 年开始,国内外就开始出现唱衰 Hadoop 的声音,以 Hadoop 为代表的开源大数据的未来何去何从?


十年前,三家资金雄厚的初创公司 Cloudera、Hortonworks 和 MapR 开始围绕 Hadoop 开源生态系统中的产品和服务进行商业化。有关 Hadoop 的炒作在 2014 年初达到了巅峰。当时,Cloudrea 筹集了大约 9 亿美元的巨额融资,估值为 41 亿美元。


“最近 Cloudrea 和 MapR 的争端上了很多媒体的头条,不由让公众想知道这场争端对大数据的未来意味着什么。”Unravel Data 首席执行官 Kunal Aganwal 表示。“企业对数据的兴趣是正在减弱吗?完全没有的事。只是由于大数据向公用云快速转型,导致这些公司步履蹒跚,这些专为本地部署而设计的平台已经没有什么增长潜力了。由于大数据对于高弹性计算的需求,它天然更适合云计算。此外,现代数据系统正变得越来越复杂,它们在本地管理要比在云端管理更加困难。随着新的数据栈横空出世,Hadoop 不再是权威的大数据技术了:像 Spark 和 Kafka 这样的技术正在兴起,以支持使用人工智能和机器学习的现代数据应用。Hadoop 不会消失,也不是所有的数据工作负载都会迁移到云端,但公有云和 Spark 等技术将越来越多地定义大数据,任何不积极支持它们的供应商将会继续蒙受损失。”


Hortonworks 于 2014 年面市,Cloudera 紧随其后,于 2017 年上市。但随着市场竞争的加剧,客户开始迅速转向云端,两家公司的股价都出现了暴跌。去年秋季,Cloudrea 和 HortonWorks 合并,但合并后的公司股票持续下跌,市值缩水了一半。MapR 在四年多前就宣布了上市计划,但从未贯彻执行,而是选择在 2016 年和 2017 年再筹集两轮风险投资。最近有消息称,如果 MapR 不能获得更多资金,可能会削减多达 122 个工作岗位,并关闭位于加利福尼亚州圣克拉拉的总部。


“最近关于 Cloudrea 和 MapR 的新闻引发了关于Hadoop 未来何去何从的争论,以及所有用于管理大数据工作负载的开源框架。”Clairvoiant 公司的首席执行官 Chandra Ambadipudi 评论道。“一个重要的因素是,Hadoop 在管理和利用它所需的资源方面被市场大大低估了。Hadoop 确实实现了它作为低成本、可伸缩且健壮的开源解决方案的承诺。但管理其复杂性所需的人才和数据工程师的数量,以及他们的短缺,都已经达到了顶点。”


现在,Cloudrea 成为唯一重要的 Hadoop 公司,在经历 MapR 新闻风波之后,以下是关于开源大数据平台未来从本地到云端(以及 Microsoft、AWS、Google 等云计算巨头)的一些见解和想法。


  • Hadoop 的可行性饱受质疑,并非因为它是一种槽糕的技术(实际上,Hadoop 技术非常好),而是因为将 Hadoop 作为开源产品来管理太过复杂导致面临人才瓶颈。与炒作相比,所需的资源水平被大大低估了。

  • 问题是,云计算巨头是否会完全占据这个领域?Databricks 和 Snowflake 正在着手解决与大数据实现方面的技能差距。

  • 生态系统中仍然会出现整合行为(就像 Microsoft 收购 MapR 一样),只有时间才能告诉我们,这一切对生态系统是否有益(厂商锁定)。

  • 与此类似,正在崛起的其他大数据平台如 Apache Kafka,也可能面临开源解决方案的挑战(就像 Cloudrea 作为开源 Hadoop 的发行商面临的挑战一样)。


“随着云计算巨头继续‘吞噬世界’,像 Snowflake 和 DataBricks 这样的平台也在崛起,开始尝试弥合大数据人才和技能的鸿沟,”Ambadipudi 补充道,“如果市场出现进一步的整合,比如有某些云计算公司收购了 MapR 和其他 Hadoop 公司,我将不会感到惊讶。由于低延迟和可伸缩性,Kafka 越来越受欢迎,并得到了广泛的采用。但就像 Cloudera 利用 Hadoop 一样,Confluent 的 Kafka 企业版做的也是同样的事情,所以他们也可能面临与开源平台相同的挑战。无论采用哪一种大数据实现方式,目前所需的技能都是短缺的,而且对专家管理服务的需求仍将居高不下。”


英文原文:


https://insidebigdata.com/2019/06/14/the-future-of-open-source-big-data-platforms/


2019-06-21 12:006697
用户头像

发布了 540 篇内容, 共 298.7 次阅读, 收获喜欢 1573 次。

关注

评论

发布
暂无评论
发现更多内容

Golang微服务框架Kratos实现Thrift服务

用故事给予企业全面预算管理一个灵魂

智达方通

全面预算管理 企业全面预算管理 预算场景

印刷行业MES系统解决方案

万界星空科技

开源 MES系统 印刷

密集发布AI应用后,微软2023财报传递了什么信号|TE解读

TE智库

Spring AOP 中,切点有多少种定义方式?

江南一点雨

Java spring

快速玩转 Llama2!阿里云机器学习 PAI 推出最佳实践(二)——全参数微调训练

阿里云大数据AI技术

人工智能

fastposter v2.16.0 让海报开发更简单

物有本末

图片处理 海报生成器 海报生成

开发语音APP源码的小知识

山东布谷网络科技

app源码

Golang微服务框架kratos实现SignalR服务

golang SignalR Kratos

Golang微服务框架kratos实现Socket.IO服务

golang socket websocket Kratos

Java程序员常用的日志框架有哪些?

java易二三

Java 编程 程序员 计算机

NineData已支持「最受欢迎数据库」PostgreSQL

NineData

postgresql 客户端 数据源 NineData 集成AI

Kratos 大乱炖 —— 整合其他Web框架:Gin、FastHttp、Hertz

golang gin Kratos

Java Web应用开发案例|使用AJAX实现省市区三级联动效果

TiAmo

Java Java web 开发实例

初探webAssembly | 京东物流技术团队

京东科技开发者

前端 webassembly JavaScrip Blazor WebAssembly 企业号 7 月 PK 榜

JAVA和JVM运行原理是什么?

java易二三

Java 编程 JVM 计算机 程序猿

Java一维数组是什么,怎么用?

java易二三

Java 编程 程序员 数组 计算机

视觉套件专项活动!与飞桨技术专家一起提升技术实力,更多荣誉奖励等你领取

飞桨PaddlePaddle

人工智能 百度 paddle 飞桨 百度飞桨

Golang微服务框架kratos实现SSE服务

golang websocket Kratos openai

3D建模和3D渲染是吃CPU还是显卡?以及专业图形显卡和游戏显卡的区别

Finovy Cloud

3D

澜舟科技创始人兼CEO周明受邀出席“基础科学与人工智能论坛”

澜舟孟子开源社区

直播程序源码开发建设:洞察全局,数据统计与分析功能-山东布谷科技创作

山东布谷科技

软件开发 直播 源码搭建 程序源码 mac数据分析统计软件

澜舟科技CEO周明:不过度追求AGI,更看重大模型语言理解能力和应用落地性 | 1号位

澜舟孟子开源社区

数仓现网案例丨超大结果集接收异常

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 7 月 PK 榜

HBase Compaction 原理与线上调优实践

vivo互联网技术

HBase 调优参数 Minor Compaction Compaction策略 Major Compaction

拥抱AIGC,他们有话说——百度李双龙:AIGC将赋能多个场域并惠及千行百业

百度Geek说

人工智能 百度 企业号 7 月 PK 榜 AICG

Java基础 日期和时间

java易二三

程序员 计算机 java 编程

Golang微服务框架Kratos实现GraphQL服务

golang graphql Kratos

Hadoop不再权威,开源大数据的未来何去何从?_AI&大模型_Daniel Gutierrez_InfoQ精选文章