限时领|《AI 百问百答》专栏课+实体书(包邮)! 了解详情
写点什么

Hortonworks 进军物联网,发布基于 Apache NiFi 项目的 DataFlow 产品

  • 2015-10-07
  • 本文字数:1157 字

    阅读完需:约 4 分钟

Hortonworks 已经在不知不觉中完成了他们的 DataFlow 平台,这个平台基于 Apache NiFi 项目并准备去解决物联网(IoAT)中的数据处理需求。

Hortonworks 公司在最近的一次研讨会上向石油和天然气行业的客户介绍了其DataFlow (HDF)平台。HDF(Hortonworks Data Flow)平台基于 Apache NiFi 项目,它是一种实时数据流处理 系统,在去年由美国安全局( NSA )开源并进入 Apache 社区,NiFi 初始的项目名称是 Niagarafiles。当 NiFi 项目开源之后,一些早先在 NSA 的开发者们创立了初创公司 Onyara,Onyara 随之继续 NiFi 项目的开发并提供相关的支持。Hortonworks 公司最近收购了 Onyara 并将其开发者整合到自己的团队中。

因为 NiFi 可以对来自多种数据源的流数据进行处理,Hortonworks 认为 HDF 平台非常适合用于物联网 (IoAT) 的数据处理。HDF 中的数据流动可以是多个方向,甚至是点对点的,用户可以同收集到的数据流进行交互,这种交互甚至可以延伸到数据源,比如一些传感器或是设备。按照 Hortonworks 公司的说法,HDF 产品是对 HDP 产品的补充,前者主要处理移动中的数据,而后者基于 Hadoop 技术,主要负责从静止的数据中获取洞察。

NiFi 项目在创建过程中遵循了一些理念:1)精细化管理信息流的能力;2)跟踪数据相关事件和信息的能力,比如数据从哪里来,在路径中发生了什么;3)保证控制和数据面的安全能力。NiFi 的主要特性包括:

  • 有保证的数据交付
  • 支持背压(back-pressure)机制的数据缓冲
  • 有优先级的队列
  • QoS
  • 数据溯源(Data provenance):NiFi 对数据流路径上的每次变化都会保留日志记录,从而保证结果的可追溯,以及数据的恢复、重播、审计和评估。
  • 通过日志记录数据的历史细节
  • 支持交互式命令和控制台,并对系统变化提供可视化的反馈
  • 支持流模板(Flow templates)
  • 支持插入式(Pluggable)/ 多角色(multi-role)的安全机制
  • 支持对数据操作的扩展
  • 支持集群管理

NiFi 并非只能用于物联网,实际上,它可以用于所有种类的实时数据处理,比如预测分析、欺诈检测、大数据注入、资源评估等等。NiFi 项目自身提供了 90 个数据处理器 (data processors),这其中包括了数据的编码、加密、压缩、转换、从数据流创建 Hadoop 的序列文件、同 AWS 交互、发送消息到 Kafka、从 Twitter 上获取消息,以及其它等等。你可以在拖放风格的可视化界面上来配置这些数据处理器,把它们链接到一起,并在它们之间使用背压机制来进行流控。NiFi 还提供了内置的自动扩展、请求复制、负载均衡和故障切换机制。

在 NiFi 的路标中还可以看到以下特性:对流的配置管理做进一步的提升、一个扩展和模板注册表、对Avro 的优先支持、交互式队列管理、多租户的数据流,以及其它。

目前,HDF 已经可以在沙箱式的环境中配合 Apache Ambari 进行测试验证。

查看英文原文: Hortonworks Addresses the IoAT with DataFlow Based on NiFi

2015-10-07 19:006356

评论

发布
暂无评论
发现更多内容

如何理解符号引用和直接引用?

王磊

【教程】任务管理(高级)打造完整的项目管理平台

NocoBase

开源 项目管理 低代码 教程 任务管理

工程协同管理系统(源码+文档+部署+讲解)

深圳亥时科技

Room Arranger for Mac 简单易用的室内设计软件

小玖_苹果Mac软件

江苏省推出人工智能通识课,和鲸Heywhale重磅上线课程+平台+资源一体化解决方案

ModelWhale

Python 人工智能 大数据 AI

非凸科技荣获2024“创·在上海”国际创新创业大赛优胜企业奖

非凸科技

优化永不止步:TinyVue v3.20.0 正式发布,更美观的官网UI,更友好的文档搜索,更强大的主题配置能力~

OpenTiny社区

组件库 OpenTiny 前端开源

观测云亮相 Doris Summit,展示流式聚合创新技术

观测云

数据库性能优化

强大的Mac版电子邮件客户端Postbox for Mac激活版

小玖_苹果Mac软件

“用户体验”就是提高“客户满意度”吗?

科技热闻

强大的计算器应用 Soulver for Mac激活版

小玖_苹果Mac软件

KCNScrew Pack Mac序列号查询软件

小玖_苹果Mac软件

职场办公常用的5款AI软件,每一个都值得推荐!

职场工具箱

效率工具 办公软件 AI软件 AIGC AI生成PPT

不愧是字节跳动,今年这薪资...属实羡慕了!

程序员高级码农

Java 程序员 java面试 字节 Java面试题

【HarmonyOS NEXT】ArkTs数据类型解析与使用

冉冉同学

鸿蒙 HarmonyOS 鸿蒙应用开发 鸿蒙原生应用开发 HarmonyOS NEXT

新版CleanMyMac和CleanMyMacX有什么区别?CleanMyMac全面评测

阿拉灯神丁

应用程序 Mac软件 苹果软件精选 系统优化清理工具 CleanMyMac X中文

Proxyman Premium for Mac 网络调试和分析工具

小玖_苹果Mac软件

文件夹图标修改美化工具Folder Factory for Mac

小玖_苹果Mac软件

强大的三维建模软件Rhino 8 for Mac中文激活版

小玖_苹果Mac软件

CosyVoice 2.0 支持双向流式语音合成;无问芯穹开源全模态理解端侧模型丨RTE 开发者日报

声网

被裁后,狂刷大牛分享的607页JUC源码分析笔记,立马拿蚂蚁offer

程序员高级码农

Java 源码 程序员 java面试 Java后端

火爆Boss直聘的百页SpringBoot原理实战+面试题助你狂拿千份offer

程序员高级码农

Java 编程 程序员 java面试 Java面试题

【HarmonyOS NEXT】ArkTs函数、类、接口、泛型、装饰器解析与使用

冉冉同学

鸿蒙 HarmonyOS 鸿蒙应用开发 鸿蒙原生应用开发 HarmonyOS NEXT

产品经理怎么进行用户画像分析?这10个模板案例别错过!

职场工具箱

产品经理 办公软件 AIGC 用户画像分析 绘图软件

创意写作软件Bike for Mac激活版

小玖_苹果Mac软件

Hortonworks进军物联网,发布基于Apache NiFi项目的DataFlow产品_开源_Abel Avram_InfoQ精选文章