写点什么

Storm 0.9.3 支持与 HDFS、HBase 的集成

  • 2014-12-09
  • 本文字数:845 字

    阅读完需:约 3 分钟

Apache Storm 0.9.3 发布,虽然只是一个维护版本,但它不仅改进了与 Apache Kafka 的集成,还提供了与 HDFS、HBase 的集成,并减少了依赖冲突。此外,它还修复了 100 多个 Bug,使其稳定性更好。具体改进如下:

  • 改进与 Kafka 的集成——Apache Strom 自 0.9.2-incubating 版本以来就支持使用 Apache Kafka 作为流数据源。0.9.3 版本进行了若干改进,其中包括向一个或多个 Kafka 集群或 Topic 写入数据。现在,Storm 用户可以将 Kafka 用作流数据的源和目的地。这一点考虑了拓扑间通信、拓扑链、基于 spout/bolt 的拓扑与基于 Trident 的数据流之间的结合以及与支持从 Kafka 获取数据的任何外部系统的集成。更多信息请查看 storm-kafka 项目文档
  • HDFS 集成——Apache Storm 的 HDFS 集成包含多个 bolt 和 Trident state 实现,允许拓扑开发人员从任何 Storm 拓扑向 HDFS 写入数据。更多信息请查看 storm-hdfs 项目文档
  • HBase 集成——Apache Storm 的 HBase 集成包含若干组件,允许 Storm 拓扑实时地向 HBase 写入数据及查询,并允许用户将 HBase 中的数据资产作为流数据查询,以及将 HBase 用于保存流计算结果。更多信息请查看 storm-hbase 项目文档
  • 减少依赖冲突——在 Storm 的先前版本中,用户拓扑的依赖项经常与 Storm 使用的库相冲突。Storm 0.9.3 更改了多个经常导致冲突的依赖包的存放位置,详细信息请查看发布说明
  • 改进多语言——Storm 0.9.3 包含一个新的 Node.js 多语言实现,允许开发人员使用 JavaScript 编写 spouts 和 bolts。此外,多语言协议的健壮性和错误处理能力也得到了很大的提升。这也导致多语言 API 发生了向后不兼容的变化。因此,在升级之前,使用了多语言拓扑的用户应查看 Python、Ruby 和 JavaScript 的多语言示例以确定其影响。

感兴趣的读者可以从这里下载。更详细的信息请查看更新日志


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2014-12-09 00:503730
用户头像

发布了 1008 篇内容, 共 441.1 次阅读, 收获喜欢 346 次。

关注

评论

发布
暂无评论
发现更多内容

Java Agent 踩坑之 appendToSystemClassLoaderSearch 问题

阿里巴巴云原生

Java 阿里云 容器 云原生

湖南卫视携手华为云 打造跨年晚会“最炫科技风”

极客天地

同盾科技 x TiDB丨实时数据架构为风控智能决策保驾护航

PingCAP

#TiDB

云渲染动画价格一般多少?

Renderbus瑞云渲染农场

云渲染 云渲染价格

阿里云张献涛:无影,让计算触手可及

云布道师

无影云电脑

Bonree ONE荣获信通院“2022IT新治理年度明星产品”

博睿数据

根因分析 博睿数据 荣誉奖项 Bonree ONE

精华推荐 |【深入浅出Sentinel原理及实战】「原理探索专题」完整剖析Alibaba微服务架构体系之轻量级高可用流量控制组件Sentinel(1)

码界西柚

sentinel 1月日更 Sentinel 系统

企业专用的即时通讯产品如何选择?

BeeWorks

喜报 | 瑞云科技荣获“第四届天鸽奖十大创新企业”等两项大奖

3DCAT实时渲染

元宇宙 3DCAT 瑞云渲染

消息收发弹性——生产集群如何解决大促场景消息收发的弹性&降本诉求

阿里巴巴云原生

阿里云 RocketMQ 云原生

软件测试/测试开发丨如何确保API 的稳定性与正确性?你只需要这一招

测试人

软件测试 自动化测试 测试开发 RESTful API

关于接口测试自动化的总结与思考

阿里巴巴云原生

阿里云 云原生 TPS

软件测试 | 测试开发 | 相比Selenium,Web自动化测试框架Playwright

测吧(北京)科技有限公司

测试

Kyligence 客户案例“泰康集团精细化经营分析与运营平台”获评数据智能最佳实践案例

Kyligence

数据分析 指标管理

2022 OpenMLDB 硕果累累,颁奖台上荣耀连连

第四范式开发者社区

人工智能 机器学习 数据库 开源 特征

软件测试/测试开发丨接口管理工具YApi怎么用?颜值高、易管理、超好用

测试人

软件测试 接口测试 YAPI 测试开发

Seata 1.6.0 正式发布,大幅度提升存储性能

阿里巴巴云原生

阿里云 seata

卷积神经网络的压缩方法总结

嵌入式视觉

知识蒸馏 模型压缩 神经网络参数量化 二值化网络 模型剪枝

Pytorch基础-张量基本操作

嵌入式视觉

张量的基本操作 维度变换 索引切片 合并分割 卷积相关算子

RayLink远程控制软件:叮~你收到一份年度关键词报告

RayLink远程工具

远程控制软件 RayLink

快速构造String对象及访问其内部成员的技巧

阿里技术

Java jdk FASTJSON2

喜报|3DCAT入选“灵境杯”深圳市最佳元宇宙案例!

3DCAT实时渲染

虚拟现实 元宇宙 增强现实 实时云渲染 元宇宙开发

高性能存储SIG月度动态:DSMS开始适配Anolis OS、将在ANCK 5.10中支持ublk | 龙蜥 SIG

OpenAnolis小助手

开源 操作系统 高性能存储 龙蜥社区 sig

2022 InfoQ 写作社区年度优质企业号评选名单公布!

InfoQ写作社区官方

热门活动

初识PHP(1):PHP是什么

php

Pytorch基础-tensor数据结构

嵌入式视觉

Tensor torch.tensor() Tensor维度

harbor从1.6.1升级至2.7.0

小黄鱼

Harbor

InfoQ写作社区 2022 年度优质创作者评选名单公布!

InfoQ写作社区官方

热门活动

TiDB 6.5 LTS 发版

PingCAP

#TiDB

广西首次!3DCAT实时云渲染助力南宁数字气象科普馆上线

3DCAT实时渲染

云计算 云渲染 元宇宙 3DCAT 虚拟数字气象馆

科技创新实力受认可,网易有道入选 2022 中国技术品牌影响力企业榜

有道技术团队

技术 数据分析

Storm 0.9.3支持与HDFS、HBase的集成_语言 & 开发_谢丽_InfoQ精选文章