大厂Data+Agent 秘籍:腾讯/阿里/字节解析如何提升数据分析智能。 了解详情
写点什么

Storm 升级成为 Apache 顶级项目

  • 2014-09-30
  • 本文字数:786 字

    阅读完需:约 3 分钟

Apache Storm 是一个免费、开源的分布式实时计算系统。相对于 Hadoop 适用于批处理而言,Storm 可以用于实时处理流式数据。Storm 简单易用,支持多种编程语言。2013 年 9 月,Storm 成为了 Apache 软件基金会的孵化项目,近日,Apache 软件基金会宣布, Storm 已经孵化完毕,升级成为 Apache 顶级项目。这也意味着 Storm 社区和产品已经按照 Apache 软件基金会的流程和理念顺利运作。

Storm 本是由做分析平台的创业公司 BackType 开发,后来 2011 年 7 月 BackType 被 Twitter 收购,Storm 得以保留并于 2011 年 9 月开源在 GitHub 上。在被收购后,Storm 也随之成为了 Twitter 内部的实时数据分析系统。在 Twitter 的带领下,Storm 获得了社区的广泛认可,Hortonworks 宣布将 Storm 整合到自己的 Hadoop 企业版中,Yahoo 将 Storm 与 YARN 整合成为 Storm-YARN 来支持的实时的流计算分析。另外,国内的几个公司也在大规模使用 Storm,比如百度、淘宝,在 Storm 的官网也能看到他们的商标。

Storm 也是少有的几个使用 Clojure 编写的开源项目之一,Clojure 是一个在 JVM 平台运行的动态函数式编程语言。Storm 的成功也证明了 Clojure 可以用于编写大型项目。近日,Puppet Labs 决定使用 Clojure 重写其服务端的部分核心代码。

目前,热门流式计算系统还有 Yahoo 的 S4 和 Spark streaming。Spark Streaming 是建立在 Spark 上的应用框架,利用 Spark 的底层框架作为其执行基础,并在其上构建了 DStream 的行为抽象。S4(简单可扩展流系统的首字母简称:Simple Scalable Streaming System)是一个受 Map-Reduce 模式启发的分布式流处理引擎,设计之初是为了解决使用数据采集和机器学习算法的搜索应用环境中的数据广告的显示问题。

除了用于实时分析外,Storm 也可用于在线机器学习、持续计算、分布式远程调用和 ETL 等领域。Storm 目前的版本是 0.9.2 ,更多的内容读者可以访问 ASF 博客 Storm 官网了解。

2014-09-30 20:556646
用户头像

发布了 219 篇内容, 共 147.1 次阅读, 收获喜欢 195 次。

关注

评论

发布
暂无评论
发现更多内容

9. 数据类型 - 列表详解

茶桁

Python

在 Go 语言单元测试中如何解决 Redis 存储依赖问题

江湖十年

后端 单元测试 Go 语言 redis'

【我和openGauss的故事】使用Ora2Pg迁移oracle数据到openGauss

daydayup

【腾讯云Cloud Studio实战训练营】React 快速构建点餐页面

热爱编程的小白白

简单好用的ElasticSearch可视化工具:es-client和Head

javalover123

搜索引擎 elasticsearch ELK ES Elastic Search

程序员如何利用AI加持

Bruce Talk

AI 敏捷开发

[腾讯云 Cloud studio 实战训练营] 制作Scrapy Demo爬取起点网月票榜小说数据

ベ布小禅

C与C++之间的相互调用及函数区别

芯动大师

行业信创-太极信创研习院第36期ITAIP信创精华班央企专场培训在京成功举办

电子信息发烧客

图数据库使用及业务场景

小小怪下士

Java MySQL 数据库

【我和openGauss的故事】带有out参数的存储过程及自定义函数的重载测试

daydayup

接口测试必备技能-常见接口协议解析

霍格沃兹测试开发学社

纵览 PoseiSwap 经济体系,如何从宏大的叙事中持续捕获价值?

股市老人

盘点一对一直播源码的那些小功能

山东布谷网络科技

源码 社交APP 一对一直播

【我和openGauss的故事】 openGauss 5.0.0 事务相关语法

daydayup

Java 文字转图片输出,Java 输出透明背景图片,Java文字转图片防爬虫

java易二三

Java 程序员 爬虫 计算机 电脑

纵览 PoseiSwap 经济体系,如何从宏大的叙事中持续捕获价值?

BlockChain先知

VLE基于预训练文本和图像编码器的图像-文本多模态理解模型:支持视觉问答、图文匹配、图片分类、常识推理等

汀丶人工智能

人工智能 自然语言处理 多模态大模型 视觉问答 图文匹配

纵览 PoseiSwap 经济体系,如何从宏大的叙事中持续捕获价值?

小哈区块

HDC 2023 | HarmonyOS应用联运服务,帮助开发者实现全链路经营提效

极客天地

Zebec 创始人 Sam 对话社区,“Zebec 生态发展”主题 AMA 回顾总结

股市老人

向极致体验奔跑,不妥协的星闪与中国科技的少年气

脑极体

通信

MiniRBT中文小型预训练模型:结合了全词掩码技术和两段式知识蒸馏技术,加快推理速度

汀丶人工智能

人工智能 自然语言处理 nlp 预训练模型 知识蒸馏

父子线程共用线程池

soap said

纵览 PoseiSwap 经济体系,如何从宏大的叙事中持续捕获价值?

西柚子

华为发布数字资产继承功能

HarmonyOS SDK

华为 HarmonyOS HMS Core

Gartner 首发中国数据分析与人工智能技术成熟度曲线,TDengine 入选

爱倒腾的程序员

再获殊荣!AlphaSights荣获猎聘“2022年度非凡雇主”称号

科技热闻

Storm升级成为Apache顶级项目_开源_小盖_InfoQ精选文章