写点什么

Storm 升级成为 Apache 顶级项目

  • 2014-09-30
  • 本文字数:786 字

    阅读完需:约 3 分钟

Apache Storm 是一个免费、开源的分布式实时计算系统。相对于 Hadoop 适用于批处理而言,Storm 可以用于实时处理流式数据。Storm 简单易用,支持多种编程语言。2013 年 9 月,Storm 成为了 Apache 软件基金会的孵化项目,近日,Apache 软件基金会宣布, Storm 已经孵化完毕,升级成为 Apache 顶级项目。这也意味着 Storm 社区和产品已经按照 Apache 软件基金会的流程和理念顺利运作。

Storm 本是由做分析平台的创业公司 BackType 开发,后来 2011 年 7 月 BackType 被 Twitter 收购,Storm 得以保留并于 2011 年 9 月开源在 GitHub 上。在被收购后,Storm 也随之成为了 Twitter 内部的实时数据分析系统。在 Twitter 的带领下,Storm 获得了社区的广泛认可,Hortonworks 宣布将 Storm 整合到自己的 Hadoop 企业版中,Yahoo 将 Storm 与 YARN 整合成为 Storm-YARN 来支持的实时的流计算分析。另外,国内的几个公司也在大规模使用 Storm,比如百度、淘宝,在 Storm 的官网也能看到他们的商标。

Storm 也是少有的几个使用 Clojure 编写的开源项目之一,Clojure 是一个在 JVM 平台运行的动态函数式编程语言。Storm 的成功也证明了 Clojure 可以用于编写大型项目。近日,Puppet Labs 决定使用 Clojure 重写其服务端的部分核心代码。

目前,热门流式计算系统还有 Yahoo 的 S4 和 Spark streaming。Spark Streaming 是建立在 Spark 上的应用框架,利用 Spark 的底层框架作为其执行基础,并在其上构建了 DStream 的行为抽象。S4(简单可扩展流系统的首字母简称:Simple Scalable Streaming System)是一个受 Map-Reduce 模式启发的分布式流处理引擎,设计之初是为了解决使用数据采集和机器学习算法的搜索应用环境中的数据广告的显示问题。

除了用于实时分析外,Storm 也可用于在线机器学习、持续计算、分布式远程调用和 ETL 等领域。Storm 目前的版本是 0.9.2 ,更多的内容读者可以访问 ASF 博客 Storm 官网了解。

2014-09-30 20:556594
用户头像

发布了 219 篇内容, 共 145.7 次阅读, 收获喜欢 194 次。

关注

评论

发布
暂无评论
发现更多内容

算法突击营毕业总结

韩儿

他人方寸间,山海几千重

清秋

随笔 4月日更 1 周年盛典 我和写作平台的故事

SQL 性能优化的几条建议

U2647

sql 4月日更

GaussDB(for openGauss)让数据“存得下、算得快、算得准”

华为云开发者联盟

GaussDB(for openGauss) 华为云数据库 数据分布方式 计算下推 数据强一致

超详细 PowerDesigner 入门教学(项目数据库设计标准)

若尘

数据库 数据库设计

计算机原理学习笔记 Day5

穿过生命散发芬芳

计算机原理 4月日更

算法思考:红包金额生成

程序员架构进阶

Java 28天写作 算法解析 4月日更 微信红包

Zabbix Linux 下源码安装

耳东@Erdong

zabbix 4月日更

被应用商店下架的应用,该如何下载?

彭宏豪95

效率 App 苹果 4月日更

Python OpenCV 图像处理之直方图的应用,取经之旅第 26 天

梦想橡皮擦

Python OpenCV 4月日更

分页场景慢?MySQL迷惑行为解读~

Java架构师迁哥

修电脑、脱发、格子衫?程序员拒绝标签化,这才是真正的他们

华为云开发者联盟

程序员 女朋友 标签 格子衫 单身狗

Windows 下 搭建 Flutter 环境

U2647

flutter 4月日更

C++系列:Visual Studio(VS)2019登录不上?

Bob

c++ 踩坑经历 编程经验 4月日更

Github Star 11.5K项目再发版:AAAI 2021 顶会论文开源,80+多语言模型全新升级

百度大脑

飞桨

第一个 Go 程序

escray

学习 极客时间 Go 语言 4月日更 Go100

一加9pro联名哈苏了!这可能是你能买的平替哈苏

Geek_4a453c

Linux pwd 命令

一个大红包

Linux linux命令 4月日更

openLooKeng V1.2.0 发布

LooK

大数据 数据 Bigdata

直播 | 如何使用Ranger增强权限管理?

LooK

大数据 数据分析 数据 Bigdata

一直做着行业最“新”的尝试:NA(Nirvana)Chain受邀出席共为·创新大会并办展

区块链第一资讯

喜欢回忆过去的人,没有未来

小天同学

成长 自我思考 个人感悟 突破瓶颈 4月日更

中寰卫星导航卜钢采访:IT年轻人怎么工作、学习和生活(采访提纲)

老猿Python

学习 采访 IT年轻人

数据库存取策略对比

小舰

4月日更

ES9的新特性:异步遍历Async iteration

程序那些事

JavaScript ecmascript 程序那些事 es9

VueRouter源码解读:三大核心模块构成

梁龙先森

源码分析 大前端 vue-router

智慧公安重点人员管控系统搭建,实现重点人员动态管控

13828808769

智慧公安

初识GaussDB(for Cassandra)

华为云开发者联盟

数据安全 GaussDB 华为云数据库 GaussDB(for Cassandra) 分布式云数据库

【LeetCode】打家劫舍 II Java题解

Albert

算法 LeetCode 4月日更

区块链特色农产品溯源平台解决方案

13828808769

溯源 #区块链#

Spring Boot 启动时,让方法自动执行的 4 种方法!

Java小咖秀

springboot 启动方式

Storm升级成为Apache顶级项目_开源_小盖_InfoQ精选文章