AICon 北京站 Keynote 亮点揭秘,想了解 Agent 智能体来就对了! 了解详情
写点什么

Storm 升级成为 Apache 顶级项目

  • 2014-09-30
  • 本文字数:786 字

    阅读完需:约 3 分钟

Apache Storm 是一个免费、开源的分布式实时计算系统。相对于 Hadoop 适用于批处理而言,Storm 可以用于实时处理流式数据。Storm 简单易用,支持多种编程语言。2013 年 9 月,Storm 成为了 Apache 软件基金会的孵化项目,近日,Apache 软件基金会宣布, Storm 已经孵化完毕,升级成为 Apache 顶级项目。这也意味着 Storm 社区和产品已经按照 Apache 软件基金会的流程和理念顺利运作。

Storm 本是由做分析平台的创业公司 BackType 开发,后来 2011 年 7 月 BackType 被 Twitter 收购,Storm 得以保留并于 2011 年 9 月开源在 GitHub 上。在被收购后,Storm 也随之成为了 Twitter 内部的实时数据分析系统。在 Twitter 的带领下,Storm 获得了社区的广泛认可,Hortonworks 宣布将 Storm 整合到自己的 Hadoop 企业版中,Yahoo 将 Storm 与 YARN 整合成为 Storm-YARN 来支持的实时的流计算分析。另外,国内的几个公司也在大规模使用 Storm,比如百度、淘宝,在 Storm 的官网也能看到他们的商标。

Storm 也是少有的几个使用 Clojure 编写的开源项目之一,Clojure 是一个在 JVM 平台运行的动态函数式编程语言。Storm 的成功也证明了 Clojure 可以用于编写大型项目。近日,Puppet Labs 决定使用 Clojure 重写其服务端的部分核心代码。

目前,热门流式计算系统还有 Yahoo 的 S4 和 Spark streaming。Spark Streaming 是建立在 Spark 上的应用框架,利用 Spark 的底层框架作为其执行基础,并在其上构建了 DStream 的行为抽象。S4(简单可扩展流系统的首字母简称:Simple Scalable Streaming System)是一个受 Map-Reduce 模式启发的分布式流处理引擎,设计之初是为了解决使用数据采集和机器学习算法的搜索应用环境中的数据广告的显示问题。

除了用于实时分析外,Storm 也可用于在线机器学习、持续计算、分布式远程调用和 ETL 等领域。Storm 目前的版本是 0.9.2 ,更多的内容读者可以访问 ASF 博客 Storm 官网了解。

2014-09-30 20:556605
用户头像

发布了 219 篇内容, 共 146.0 次阅读, 收获喜欢 195 次。

关注

评论

发布
暂无评论
发现更多内容

文本分析基本流程

Qien Z.

文本分析 5月日更

99% 的同学写不出好代码,都是因为这个问题!

程序员鱼皮

Java c++ Python 自学编程 经验分享

大数据采集和常见问题

数据社

大数据 数据采集 5月日更

IoT系列,树莓派监控开关状态

IT蜗壳-Tango

IT蜗壳 IT蜗壳教学 5月日更

Logstash-数据流引擎

进击的梦清

大数据 Linux 运维 后端 Logstash

公安重点人员情报研判分析系统,可视化大屏系统

“四大模型”革新NLP技术应用,揭秘百度文心ERNIE最新开源预训练模型

百度大脑

开源 nlp

模块五作业

c

架构实战营

【Flutter 专题】116 图解 PhysicalModel & PhysicalShape 裁切小组件

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 6月日更

react源码解析2.react的设计理念

全栈潇晨

React React Hooks react源码

《面试官:谈谈你对索引的认知》之B-树

架构精进之路

MySQL 索引结构 6月日更

dex优化对Arouter查找路径的影响

vivo互联网技术

android mongodb

量化马丁策略系统搭建,网格策略交易系统

不愧是Alibaba技术官,Kafka的精髓全写这本“限量笔记”里,服了

Java 大数据 架构 面试

深入剖析 MySQL 自增锁

leonsh

MySQL 数据库

不含敌意的坚决|靠谱点评

无量靠谱

One-on-One Meeting

escray

学习 5月日更 朱赟的技术管理课

自制文件系统 —— 1 什么文件系统

奇伢云存储

Linux 文件系统 Go 语言

HTTP协议

IT视界

网络协议 HTTP 网络通信协议

5分钟速读之Rust权威指南(十三)

wzx

rust

人生算法:愿景,设计人生导航系统

石云升

读书笔记 愿景 5月日更

架构之:软件架构漫谈

程序那些事

架构 系统架构 软件设计 程序那些事

唵嘛呢叭咪吽|靠谱点评

无量靠谱

6000 字 |Redis 分布式锁|从青铜到钻石的演进方案

悟空聊架构

redis 缓存 分布式锁 redis分布式锁 6月日更

ModelArts的雪中送炭,让我拿下CCF BDCI华为Severless工作负载预测亚军

华为云开发者联盟

modelarts 工作负载 大赛 severless lstm架构

Dubbo 服务治理

青年IT男

dubbo

从外包到拿下阿里offer,这2年5个月13天到底发生了什么?

Java 程序员 架构 面试

iOS基础原理题目汇总

程序员 面试 iOS 知识体系

网络攻防学习笔记 Day31

穿过生命散发芬芳

5月日更 网络攻防

通证经济— 激励机制、社会生产、后资本主义

CECBC

聊一聊我最近使用的uniCloud是个什么玩意

麦洛

uniapp unicloud

Storm升级成为Apache顶级项目_开源_小盖_InfoQ精选文章