写点什么

Storm 0.9.3 支持与 HDFS、HBase 的集成

  • 2014-12-09
  • 本文字数:845 字

    阅读完需:约 3 分钟

Apache Storm 0.9.3 发布,虽然只是一个维护版本,但它不仅改进了与 Apache Kafka 的集成,还提供了与 HDFS、HBase 的集成,并减少了依赖冲突。此外,它还修复了 100 多个 Bug,使其稳定性更好。具体改进如下:

  • 改进与 Kafka 的集成——Apache Strom 自 0.9.2-incubating 版本以来就支持使用 Apache Kafka 作为流数据源。0.9.3 版本进行了若干改进,其中包括向一个或多个 Kafka 集群或 Topic 写入数据。现在,Storm 用户可以将 Kafka 用作流数据的源和目的地。这一点考虑了拓扑间通信、拓扑链、基于 spout/bolt 的拓扑与基于 Trident 的数据流之间的结合以及与支持从 Kafka 获取数据的任何外部系统的集成。更多信息请查看 storm-kafka 项目文档
  • HDFS 集成——Apache Storm 的 HDFS 集成包含多个 bolt 和 Trident state 实现,允许拓扑开发人员从任何 Storm 拓扑向 HDFS 写入数据。更多信息请查看 storm-hdfs 项目文档
  • HBase 集成——Apache Storm 的 HBase 集成包含若干组件,允许 Storm 拓扑实时地向 HBase 写入数据及查询,并允许用户将 HBase 中的数据资产作为流数据查询,以及将 HBase 用于保存流计算结果。更多信息请查看 storm-hbase 项目文档
  • 减少依赖冲突——在 Storm 的先前版本中,用户拓扑的依赖项经常与 Storm 使用的库相冲突。Storm 0.9.3 更改了多个经常导致冲突的依赖包的存放位置,详细信息请查看发布说明
  • 改进多语言——Storm 0.9.3 包含一个新的 Node.js 多语言实现,允许开发人员使用 JavaScript 编写 spouts 和 bolts。此外,多语言协议的健壮性和错误处理能力也得到了很大的提升。这也导致多语言 API 发生了向后不兼容的变化。因此,在升级之前,使用了多语言拓扑的用户应查看 Python、Ruby 和 JavaScript 的多语言示例以确定其影响。

感兴趣的读者可以从这里下载。更详细的信息请查看更新日志


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2014-12-09 00:503661
用户头像

发布了 1008 篇内容, 共 432.9 次阅读, 收获喜欢 346 次。

关注

评论

发布
暂无评论
发现更多内容

Redis 五种数据结构以及三种高级数据结构解析

蘑菇睡不着

Java redis

聊聊 Redis 内存淘汰策略

蘑菇睡不着

Java redis

模块六 作业

夏日

架构实战营

推荐算法工程师需要的知识储备(十三)

Databri_AI

算法 推荐系统 成长路线

大型分布式 Web 系统的架构演进

xcbeyond

分布式 架构演进 6月日更

HBase 介绍

Alex🐒

HBase

拆分电商系统为微服务——架构师训练营作业六

开拓纪

架构是训练营 作业六

优秀中层管理者所具备的特征

石云升

读书笔记 6月日更

电商平台微服务拆分(简化版)

白发青年

架构实战营

[译] R8 优化:值假设

Antway

6月日更

Cookie常见面试题

悟空聊架构

缓存 面试 Cookie 6月日更

我国区块链产业发展面临的问题

CECBC

架构训练营模块六作业

Geek_e0c25c

架构训练营

聊聊 Redis 过期键删除策略

蘑菇睡不着

Java redis

Kubernetes手记(17)- 调度策略

雪雷

6月日更

因女性而繁荣,适老化科技的钱景与挑战

脑极体

(鸡汤文)这一次我终于搞懂了 JavaScript 定时器的 this 指向!

编程三昧

JavaScript 编程 大前端 定时器

你多久没有换手机了?

看山

闲聊 6月日更

超详细Redis数据结构底层实现原理介绍

蘑菇睡不着

Java redis

模块六-创业公司电商微服务

华仔架构训练营

Nginx简单属性和使用总结

赵镇

网络攻防学习笔记 Day50

穿过生命散发芬芳

网络攻防 6月日更

Flink Side Outputs

Alex🐒

flink flink1.13

自然语言处理的发展

Qien Z.

自然语言处理 6月日更

☕【JVM技术探索】各种类型对象占用内存情况分析(上)

码界西柚

JVM java对象分析 6月日更 内存分配

电商微服务架构设计

俞嘉彬

架构实战营

【21-13】PowerShell 运算符

耳东@Erdong

PowerShell 6月日更

Flink State 和 Fault Tolerance(三)

Alex🐒

flink 翻译 flink1.13

架构实战营模块6课后作业

大肚皮狒狒

Redis入门二:数据类型

打工人!

redis 6月日更

架构训练营模块6作业

Neil43

架构训练营

Storm 0.9.3支持与HDFS、HBase的集成_语言 & 开发_谢丽_InfoQ精选文章