写点什么

Teradata 发布物联网数据实时分析软件

  • 2015-11-27
  • 本文字数:1394 字

    阅读完需:约 5 分钟

在其 2015 年的合作伙伴用户组会议上,Teradata 宣布了两个新的软件功能,用于海量物联网数据流的实时摄取与分析。 Teradata Listener 可以实时“监听”多个不同的物联网实时数据流,然后将数据传输与多个分析平台上。全新的 Teradata Aster Analytics on Hadoop 则通过 Teradata Aster Analytics 为海量的物联网数据流提供可扩展的分析功能。

Teradata Listener 通过使用开源软件框架(包括 Kafka、Cassandra、Elasticsearch 和 Mesos)以及基于 Docker、微服务和 RESTful APIs 定制的 Teradata 软件组合开发而成的。Listener 的用户通过使用用户图形界面来配置输入数据流、内部数据管道、数据的输出目的地。监控仪表板为数据处理过程提供了完整且透明的图形显示。Listener 软件也包含了允许监控、报告和分析功能定制化开发的 RESTful APIs。然而现有的 Listener 测试版本无法提供全套的 API 文档,但 Listener Curl Script 博客文章则提供了如何访问 API 的线索。

尽管全新的 Teradata 平台与 Elastic 公司的开源分布式搜索平台 ELK stack 在方法上比较相似,但是二者在解决问题的技术细节上有些许的不同。Listener 嵌入了 Elasticsearch,提供了类似于 Logstash 的数据传输管道能力,还包含了类似 Kibana 的数据流监控和可视化组件。ELK 没有解决,而新的 Teradata 平台解决了的问题是:为了产生正确的最终效果,要求所有的数据都要针对一个算法同时可视,而如何使多个这样的数据算法并行化的问题。Teradata Aster Analytics on Hadoop 带给我们的是:大数据的可扩展性,可使用任何可以想象的算法来应用于大量物联网输入数据的分析,这是一个重大的创新。

传统上来说,分析工具还没有设计用于在 Hadoop 这样的分布式环境中运行,因为工具中提供的许多分析功能要求生成一个可以代表完整输入数据集的答案。如果数据和分析功能分布于多个服务器上,每个服务器都运行一个单独的分析软件副本,最终就会返回多个结果,可以想象,没有合理的数学算法可以将多个结果融合为一个正确的结果(取决于分析的类型)。然而,统计方法或许可以基于在数据子集上进行的计算集合来预估一个正确的值,但对于整个输入数据集来说,实际的正确值仍然是不可计算的。如果在误差窗口中需要实际的正确值,而不是预估值,那么分析就无法使用传统方法来并行处理。

Aster Analytics on Hadoop 通过将 Aster Analytics 软件直接集成到 Hadoop 上成功地解决了这个问题。Aster 处理引擎(被称作“vWorkers”)由 Hadoop YARN 数据操作系统配置并管理。因为在Hadoop 中,Aster 作为本机进程来运行,它可以在整个Hadoop 分布式文件系统(HDFS)访问数据,从而解决多个或不正确的分析结果。与此同时,在Hadoop 上运行Aster Analytics 也解决了分析却无法扩展的问题。

现阶段Teradata Listener 的测试版本已经可以下载,Teradata 公司计划在2016 年第一季度发布产品版本。公司已预定在2016 年第二季度发行。用户可在自己的数据中心或云平台上运行该产品。

查看英文原文: Teradata Announces New Software for Real-Time Analysis of Internet of Things Data


感谢张龙对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群InfoQ 好读者(已满),InfoQ 读者交流群(#2)InfoQ 好读者)。

2015-11-27 18:001997

评论

发布
暂无评论
发现更多内容

全域数据整合下的数据治理:提升数据开发管理效率与质量的策略

Aloudata

数据仓库 数据分析 数据开发 数据集成 数据编织

软件测试丨JUnit5动态测试与生命周期解析

测试人

软件测试

CSA GCR 2024 | 百度安全DDoS防护服务荣获安全磐石奖等多项殊荣

百度安全

选择ETL工具需要注意什么技术性问题?

谷云科技RestCloud

数据分析 ETL 数据集成

中小企业如何优化业务流程和充分利用ERP系统?

积木链小链

企业管理 数字化 ERP 中小企业

洞悉数据,守护安全!和鲸助力2024年浙江省交通投资集团数字化主题活动圆满闭幕

ModelWhale

人工智能 交通 数据竞赛

Python脚本消费多个Kafka topic

不在线第一只蜗牛

Python kafka

数据驱动与并行策略:用 JUnit 5 让软件测试更高效

测试人

软件测试

天润融通解决方案:如何避免门店投诉升级为消费者维权

天润融通

倒计时1天!龙蜥社区开源软件供应链及操作系统安全MeetUp即将在广州召开

OpenAnolis小助手

操作系统 龙蜥社区 龙蜥meetup

开放原子校源行(天津大学站) 即将启幕,龙蜥技术专家分享开源技术与实践

OpenAnolis小助手

操作系统 龙蜥社区

软件测试丨全面解析 Allure 2 的安装与运用

测试人

软件测试

喜讯!云起无垠获“中国产业互联网发展联盟IDAC双奖”

云起无垠

Apache IoTDB v1.3.3 发布|新增数据订阅,DataNode 主动监听并加载 TsFile 等功能

Apache IoTDB

快递员上门取件API接口接口Domo下载

快递鸟

快递

【JIT/极态云】技术文档--组织架构简介

武汉万云网络科技有限公司

低代码

Redis大Key问题如何排查?如何解决?

王磊

香港 Web3 宣言两周年专访 HashKey Tokenisation 总经理 Anna Liu:探索代币化的未来

TechubNews

ChatGPT 开启「眼睛」,实时摄像头对话来了;昆仑万维推出实时语音助手 Skyo丨 RTE 开发者日报

声网

天润融通携手挚达科技:AI技术重塑客户服务体验

天润融通

第三代指标平台相较于前两代的显著优势分析

Aloudata

指标管理 指标平台 指标开发

万字长文带你深入Redis底层数据结构

不在线第一只蜗牛

数据库 redis

构建真实可靠指标平台:五大核心特征助力企业深度数智化

Aloudata

指标管理 指标平台 指标开发

人类级别语音 AI 路线图丨 Voice AI 学习笔记

声网

探索1688拍立淘API接口:图像搜索技术引领电商新潮流

代码忍者

API 接口 pinduoduo API

终于能随时解决信息焦虑了

最新动态

HarmonyOS NEXT用户专属装扮免费体验!华为主题内容大焕新!

最新动态

存算分离的过去、现在和未来

Databend

探索OS升级迭代的兼容性和安全性!龙蜥社区走进中科方德MeetUp开始报名

OpenAnolis小助手

操作系统 龙蜥社区 龙蜥meetup

Teradata发布物联网数据实时分析软件_移动_Kevin Farnham_InfoQ精选文章