写点什么

Hortonworks 进军物联网,发布基于 Apache NiFi 项目的 DataFlow 产品

  • 2015-10-07
  • 本文字数:1157 字

    阅读完需:约 4 分钟

Hortonworks 已经在不知不觉中完成了他们的 DataFlow 平台,这个平台基于 Apache NiFi 项目并准备去解决物联网(IoAT)中的数据处理需求。

Hortonworks 公司在最近的一次研讨会上向石油和天然气行业的客户介绍了其DataFlow (HDF)平台。HDF(Hortonworks Data Flow)平台基于 Apache NiFi 项目,它是一种实时数据流处理 系统,在去年由美国安全局( NSA )开源并进入 Apache 社区,NiFi 初始的项目名称是 Niagarafiles。当 NiFi 项目开源之后,一些早先在 NSA 的开发者们创立了初创公司 Onyara,Onyara 随之继续 NiFi 项目的开发并提供相关的支持。Hortonworks 公司最近收购了 Onyara 并将其开发者整合到自己的团队中。

因为 NiFi 可以对来自多种数据源的流数据进行处理,Hortonworks 认为 HDF 平台非常适合用于物联网 (IoAT) 的数据处理。HDF 中的数据流动可以是多个方向,甚至是点对点的,用户可以同收集到的数据流进行交互,这种交互甚至可以延伸到数据源,比如一些传感器或是设备。按照 Hortonworks 公司的说法,HDF 产品是对 HDP 产品的补充,前者主要处理移动中的数据,而后者基于 Hadoop 技术,主要负责从静止的数据中获取洞察。

NiFi 项目在创建过程中遵循了一些理念:1)精细化管理信息流的能力;2)跟踪数据相关事件和信息的能力,比如数据从哪里来,在路径中发生了什么;3)保证控制和数据面的安全能力。NiFi 的主要特性包括:

  • 有保证的数据交付
  • 支持背压(back-pressure)机制的数据缓冲
  • 有优先级的队列
  • QoS
  • 数据溯源(Data provenance):NiFi 对数据流路径上的每次变化都会保留日志记录,从而保证结果的可追溯,以及数据的恢复、重播、审计和评估。
  • 通过日志记录数据的历史细节
  • 支持交互式命令和控制台,并对系统变化提供可视化的反馈
  • 支持流模板(Flow templates)
  • 支持插入式(Pluggable)/ 多角色(multi-role)的安全机制
  • 支持对数据操作的扩展
  • 支持集群管理

NiFi 并非只能用于物联网,实际上,它可以用于所有种类的实时数据处理,比如预测分析、欺诈检测、大数据注入、资源评估等等。NiFi 项目自身提供了 90 个数据处理器 (data processors),这其中包括了数据的编码、加密、压缩、转换、从数据流创建 Hadoop 的序列文件、同 AWS 交互、发送消息到 Kafka、从 Twitter 上获取消息,以及其它等等。你可以在拖放风格的可视化界面上来配置这些数据处理器,把它们链接到一起,并在它们之间使用背压机制来进行流控。NiFi 还提供了内置的自动扩展、请求复制、负载均衡和故障切换机制。

在 NiFi 的路标中还可以看到以下特性:对流的配置管理做进一步的提升、一个扩展和模板注册表、对Avro 的优先支持、交互式队列管理、多租户的数据流,以及其它。

目前,HDF 已经可以在沙箱式的环境中配合 Apache Ambari 进行测试验证。

查看英文原文: Hortonworks Addresses the IoAT with DataFlow Based on NiFi

2015-10-07 19:006446

评论

发布
暂无评论
发现更多内容

Intellij 2023.3Groovy项目报错缺陷分享

FunTester

一招砍成本、四档提效率,建设智能工厂成就智造企业

用友BIP

智能工厂

积极办理等保测评,保证企业网络安全!

行云管家

网络安全 等保 等级保护 等保测评

2023年“中国高校计算机大赛-人工智能创意赛”总决赛获奖名单公示

飞桨PaddlePaddle

人工智能 深度学习 开发者 高校 计算机大赛

万字长文,我对FinOps落地的思考

Geek_cd6rkj

云原生 后端 降本增效 成本治理 kubernetes 运维

直播预约丨《实时湖仓实践五讲》第五讲:实时湖仓领域的最佳实践解析

袋鼠云数栈

大数据 数据湖 直播 湖仓一体 实时湖仓

性能加速包: SpringBoot 2.7&JDK 17,你敢尝一尝吗 | 京东物流技术团队

京东科技开发者

HamronyOS自动化测试框架使用指南

HarmonyOS开发者

HarmonyOS

好用的时间任务管理:Omnifocus 4激活中文最新版

胖墩儿不胖y

Mac软件 任务管理器

十问ByteHouse:如何基于ClickHouse玩转向量检索?

字节跳动数据平台

数据库 大数据 云原生

云图说丨初识华为云DDoS防护AAD——DDoS攻击防护平台

华为云开发者联盟

云计算 后端 华为云 华为云开发者联盟 华为云云图说

NFTScan 与蚂蚁数科旗下 ZAN 达成战略合作

NFT Research

节点 NFT\ NFTScan #Web3

迈向高质量发展!用友iuap助力央国企升级数智底座

用友BIP

数智底座

一行代码修复100vh bug | 京东云技术团队

京东科技开发者

CSS 前端 移动视口错误 100vh

网络安全事件频发现状

尚思卓越

网络安全

【B/S架构】医院不良事件报告系统源码

源码星辰

玩转Sermant开发,开发者能力机制解析

华为云开发者联盟

开发 开发工具 华为云 华为云开发者联盟

探索MySQL:开源、高性能与可定制化的数据库管理系统

小魏写代码

Kafka核心逻辑介绍 | 京东云技术团队

京东科技开发者

云计算 kafka 消息队列

Kyligence 发布数据和分析领域垂直大模型司南(Compass)

Kyligence

数据分析 司南大模型

打卡智能中国(七):AI的小城故事

脑极体

AI

2024年完整湖北等保测评机构名单看这里!

行云管家

湖北 等级保护 等保测评

开发一个免费App,都可以用哪些工具?

FinFish

APP开发 小程序容器 小程序转app 小程序技术

GitHub 如何修改 Fork from

HoneyMoose

小红书、抖音社交媒体如何实现电商流程管理自动化

谷云科技RestCloud

零代码 社交媒体 APPlink

光纤怎么接入网呢?

小齐写代码

Hortonworks进军物联网,发布基于Apache NiFi项目的DataFlow产品_开源_Abel Avram_InfoQ精选文章