9 月 13 日,2025 Inclusion・外滩大会「开源嘉年华」正在限量报名中! 了解详情
写点什么

Teradata 发布物联网数据实时分析软件

  • 2015-11-27
  • 本文字数:1394 字

    阅读完需:约 5 分钟

在其 2015 年的合作伙伴用户组会议上,Teradata 宣布了两个新的软件功能,用于海量物联网数据流的实时摄取与分析。 Teradata Listener 可以实时“监听”多个不同的物联网实时数据流,然后将数据传输与多个分析平台上。全新的 Teradata Aster Analytics on Hadoop 则通过 Teradata Aster Analytics 为海量的物联网数据流提供可扩展的分析功能。

Teradata Listener 通过使用开源软件框架(包括 Kafka、Cassandra、Elasticsearch 和 Mesos)以及基于 Docker、微服务和 RESTful APIs 定制的 Teradata 软件组合开发而成的。Listener 的用户通过使用用户图形界面来配置输入数据流、内部数据管道、数据的输出目的地。监控仪表板为数据处理过程提供了完整且透明的图形显示。Listener 软件也包含了允许监控、报告和分析功能定制化开发的 RESTful APIs。然而现有的 Listener 测试版本无法提供全套的 API 文档,但 Listener Curl Script 博客文章则提供了如何访问 API 的线索。

尽管全新的 Teradata 平台与 Elastic 公司的开源分布式搜索平台 ELK stack 在方法上比较相似,但是二者在解决问题的技术细节上有些许的不同。Listener 嵌入了 Elasticsearch,提供了类似于 Logstash 的数据传输管道能力,还包含了类似 Kibana 的数据流监控和可视化组件。ELK 没有解决,而新的 Teradata 平台解决了的问题是:为了产生正确的最终效果,要求所有的数据都要针对一个算法同时可视,而如何使多个这样的数据算法并行化的问题。Teradata Aster Analytics on Hadoop 带给我们的是:大数据的可扩展性,可使用任何可以想象的算法来应用于大量物联网输入数据的分析,这是一个重大的创新。

传统上来说,分析工具还没有设计用于在 Hadoop 这样的分布式环境中运行,因为工具中提供的许多分析功能要求生成一个可以代表完整输入数据集的答案。如果数据和分析功能分布于多个服务器上,每个服务器都运行一个单独的分析软件副本,最终就会返回多个结果,可以想象,没有合理的数学算法可以将多个结果融合为一个正确的结果(取决于分析的类型)。然而,统计方法或许可以基于在数据子集上进行的计算集合来预估一个正确的值,但对于整个输入数据集来说,实际的正确值仍然是不可计算的。如果在误差窗口中需要实际的正确值,而不是预估值,那么分析就无法使用传统方法来并行处理。

Aster Analytics on Hadoop 通过将 Aster Analytics 软件直接集成到 Hadoop 上成功地解决了这个问题。Aster 处理引擎(被称作“vWorkers”)由 Hadoop YARN 数据操作系统配置并管理。因为在Hadoop 中,Aster 作为本机进程来运行,它可以在整个Hadoop 分布式文件系统(HDFS)访问数据,从而解决多个或不正确的分析结果。与此同时,在Hadoop 上运行Aster Analytics 也解决了分析却无法扩展的问题。

现阶段Teradata Listener 的测试版本已经可以下载,Teradata 公司计划在2016 年第一季度发布产品版本。公司已预定在2016 年第二季度发行。用户可在自己的数据中心或云平台上运行该产品。

查看英文原文: Teradata Announces New Software for Real-Time Analysis of Internet of Things Data


感谢张龙对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群InfoQ 好读者(已满),InfoQ 读者交流群(#2)InfoQ 好读者)。

2015-11-27 18:001987

评论

发布
暂无评论
发现更多内容

Bytebase 部署体验总结 & 评选结果

Bytebase

数据库 体验官

什么是“根创新”?从公交支付用上国产数据库说起

OceanBase 数据库

TCP异常场景:三次握手四次挥手丢包情况解析

Java全栈架构师

程序员 面试 TCP 计算机网络 秋招

融云移动办公协同平台,助力政企数智化转型升级

融云 RongCloud

企业 即时通讯

RT-Thread记录(十六、SFUD组件 — SPI Flash的读写)

矜辰所致

RT-Thread 8月月更 SFUD SPI设备

上游sql通过drainer同步到kafka时在kafka中是什么样子的

TiDB 社区干货传送门

实践案例 管理与运维 版本测评 大数据场景实践 实时数仓场景实践

2022 全球 AI 模型周报

Zilliz

人工智能 深度学习 计算机视觉

TiFlash 表达式的实现与设计

TiDB 社区干货传送门

看完年薪30W~120W程序员分别需要掌握的技能栈,我彻底悟了!

程序员小毕

Java 程序员 程序人生 后端 架构师

企业数据现状分析:为什么需要实时数据?如何高效挖掘实时数据价值?

tapdata

Tapdata

动态线程池的9个应用场景你见过几个?

程序员小毕

Java 程序员 面试 程序人生 线程池

C/CPP基础练习题(一)运算符,判断

CtrlX

c c++ C# 8月月更

参加java培训和自学技术有什么区别

小谷哥

实战-记录一次大版本升级

TiDB 社区干货传送门

新版本/特性解读

HarmonyOS开发者创新大赛总决赛结果公布

HarmonyOS开发者

HarmonyOS

零基础学员如何参加大数据培训?

小谷哥

运维审计是什么意思?有什么作用?用什么软件好?

行云管家

运维 审计 IT运维 运维审计

数字化转型新CP:云原生+边缘计算 实践分享

York

容器 云原生 数字化转型 边缘计算 边云协同

我吐了!一个奇葩的线上问题,导致我排查了一天

Java永远的神

Java 程序员 面试 程序人生 后端

swap去中心化交易所系统开发技术分析

开发微hkkf5566

应用日志采集是什么意思?批量采集应用日志软件用哪个?怎么操作?

行云管家

日志采集 IT运维 行云管家 应用日志

前端开发技术培训班靠谱吗

小谷哥

SENSORO 智慧城市平台中的延时队列设计

SENSORO

大数据 物联网 智慧城市 延时队列

OceanBase 亮相2022全国CIO大会,荣获“2022年度CIO信赖品牌”

OceanBase 数据库

java学习过程中要注意哪些方面?

小谷哥

pd-ctl 选项 --jq 格式化语法使用案例详解

TiDB 社区干货传送门

性能调优 实践案例 管理与运维 扩/缩容

多种姿势搞定Tidb集群监控大屏

TiDB 社区干货传送门

监控

PCTP考试学习笔记之一:深入TIDB体系架构(下)

TiDB 社区干货传送门

TiDB 底层架构 管理与运维 TiDB 源码解读 TiKV 源码解读

大数据培训可以成为优秀工程师吗?

小谷哥

去中心化交易所swap系统开发功能以及逻辑分析

开发微hkkf5566

PCTP考试学习笔记之一:深入TIDB体系架构(上)

TiDB 社区干货传送门

管理与运维 TiDB 源码解读 TiKV 源码解读 TiKV 底层架构

Teradata发布物联网数据实时分析软件_移动_Kevin Farnham_InfoQ精选文章