写点什么

Storm 0.9.3 支持与 HDFS、HBase 的集成

  • 2014-12-09
  • 本文字数:845 字

    阅读完需:约 3 分钟

Apache Storm 0.9.3 发布,虽然只是一个维护版本,但它不仅改进了与 Apache Kafka 的集成,还提供了与 HDFS、HBase 的集成,并减少了依赖冲突。此外,它还修复了 100 多个 Bug,使其稳定性更好。具体改进如下:

  • 改进与 Kafka 的集成——Apache Strom 自 0.9.2-incubating 版本以来就支持使用 Apache Kafka 作为流数据源。0.9.3 版本进行了若干改进,其中包括向一个或多个 Kafka 集群或 Topic 写入数据。现在,Storm 用户可以将 Kafka 用作流数据的源和目的地。这一点考虑了拓扑间通信、拓扑链、基于 spout/bolt 的拓扑与基于 Trident 的数据流之间的结合以及与支持从 Kafka 获取数据的任何外部系统的集成。更多信息请查看 storm-kafka 项目文档
  • HDFS 集成——Apache Storm 的 HDFS 集成包含多个 bolt 和 Trident state 实现,允许拓扑开发人员从任何 Storm 拓扑向 HDFS 写入数据。更多信息请查看 storm-hdfs 项目文档
  • HBase 集成——Apache Storm 的 HBase 集成包含若干组件,允许 Storm 拓扑实时地向 HBase 写入数据及查询,并允许用户将 HBase 中的数据资产作为流数据查询,以及将 HBase 用于保存流计算结果。更多信息请查看 storm-hbase 项目文档
  • 减少依赖冲突——在 Storm 的先前版本中,用户拓扑的依赖项经常与 Storm 使用的库相冲突。Storm 0.9.3 更改了多个经常导致冲突的依赖包的存放位置,详细信息请查看发布说明
  • 改进多语言——Storm 0.9.3 包含一个新的 Node.js 多语言实现,允许开发人员使用 JavaScript 编写 spouts 和 bolts。此外,多语言协议的健壮性和错误处理能力也得到了很大的提升。这也导致多语言 API 发生了向后不兼容的变化。因此,在升级之前,使用了多语言拓扑的用户应查看 Python、Ruby 和 JavaScript 的多语言示例以确定其影响。

感兴趣的读者可以从这里下载。更详细的信息请查看更新日志


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2014-12-09 00:503552
用户头像

发布了 1008 篇内容, 共 419.8 次阅读, 收获喜欢 346 次。

关注

评论

发布
暂无评论
发现更多内容

软件IT专业大学生学习情况调查

老猿Python

学习 大学生 软件IT专业 高校

001 ES suggest-IK 中文

小林-1025

ES es7

不想搞Java了,现在Java面试为何这么难

Java架构师迁哥

CrossOver for Mac 怎么用?

懒得勤快

【Java面试】30个 Java 集合面试必备的问题和答案 ​

Java架构师迁哥

阿里云 ARMS 3.0 重磅发布云拨测,Gartner APM 魔力象限产品解读

阿里巴巴中间件

阿里云 Gartner 可观测

复习一周 成功拿到字节Offer 我也惊呆了

学Java关注我

Java 面试 程序人生 编程语言 计算机

一周信创舆情观察(4.19~4.25)

统小信uos

音频技术及行业的发展

Emotion

音频技术

智能创作平台全新升级,助力开启智能媒体新时代

百度大脑

人工智能 智能创作

江西组织部干部人事综合管理平台建设,干部管理系统

uni-app rtc插件集成指南及常见问题--iOS

anyRTC开发者

uni-app ios 音视频 WebRTC RTC

头一次见到阿里大牛把spring boot讲的如此通俗易懂

Java 编程 程序员 架构

公安局情指勤一体化指挥调度系统开发

资源数据治理的应用实践

鲸品堂

数据 治理 运营商

海南新场景!数字人民币在三亚完成首单离岛免税购物

CECBC

海口免税

区块链技术赋能不动产登记,让群众办事更便利

CECBC

区块链

行业洞察 | 风口上的互联网医疗,如何赢得下半场?

澳鹏Appen

人工智能 大数据 医疗方案 智能医疗 医疗AI

系统服务-技术专题-并发模型粗浅分析探讨

码界西柚

并发编程

Rust从0到1-集合-Vector

rust 集合 Collections vecotr

区块链赋能的Web 3.0时代将是一番怎样的景象?

CECBC

区块链

本科学历,杭州工作4年,三个月学习入职阿里,薪资涨幅达到50%

比伯

Java 编程 程序员 架构 计算机

编曲混音必备法宝——FL三大效果器简介

奈奈的杂社

封神总结!蚂蚁金服+滴滴+美团+拼多多+腾讯15万字Java面试题

Java 程序员 架构 面试

从字节跳动到火山引擎(一) | Redis 云原生实践

redis 字节跳动 Kubernetes 云原生 火山引擎

击破行业痛点,区块链赋能智慧物流高速发展

CECBC

区块链

独具特色的臻品音库,带来更优质的听觉体验

百度大脑

人工智能 独具特色

干了八年的阿里面试官,给大家分享我面试时最爱问的Java面试题

Java架构师迁哥

000 ES suggest-英文

小林-1025

es7

面试10家公司,终入阿里,感谢大佬的Java面试进阶解析笔记

Java架构师迁哥

你“会”学算法吗?

IT蜗壳-Tango

Storm 0.9.3支持与HDFS、HBase的集成_语言 & 开发_谢丽_InfoQ精选文章