写点什么

Teradata 发布物联网数据实时分析软件

  • 2015-11-27
  • 本文字数:1394 字

    阅读完需:约 5 分钟

在其 2015 年的合作伙伴用户组会议上,Teradata 宣布了两个新的软件功能,用于海量物联网数据流的实时摄取与分析。 Teradata Listener 可以实时“监听”多个不同的物联网实时数据流,然后将数据传输与多个分析平台上。全新的 Teradata Aster Analytics on Hadoop 则通过 Teradata Aster Analytics 为海量的物联网数据流提供可扩展的分析功能。

Teradata Listener 通过使用开源软件框架(包括 Kafka、Cassandra、Elasticsearch 和 Mesos)以及基于 Docker、微服务和 RESTful APIs 定制的 Teradata 软件组合开发而成的。Listener 的用户通过使用用户图形界面来配置输入数据流、内部数据管道、数据的输出目的地。监控仪表板为数据处理过程提供了完整且透明的图形显示。Listener 软件也包含了允许监控、报告和分析功能定制化开发的 RESTful APIs。然而现有的 Listener 测试版本无法提供全套的 API 文档,但 Listener Curl Script 博客文章则提供了如何访问 API 的线索。

尽管全新的 Teradata 平台与 Elastic 公司的开源分布式搜索平台 ELK stack 在方法上比较相似,但是二者在解决问题的技术细节上有些许的不同。Listener 嵌入了 Elasticsearch,提供了类似于 Logstash 的数据传输管道能力,还包含了类似 Kibana 的数据流监控和可视化组件。ELK 没有解决,而新的 Teradata 平台解决了的问题是:为了产生正确的最终效果,要求所有的数据都要针对一个算法同时可视,而如何使多个这样的数据算法并行化的问题。Teradata Aster Analytics on Hadoop 带给我们的是:大数据的可扩展性,可使用任何可以想象的算法来应用于大量物联网输入数据的分析,这是一个重大的创新。

传统上来说,分析工具还没有设计用于在 Hadoop 这样的分布式环境中运行,因为工具中提供的许多分析功能要求生成一个可以代表完整输入数据集的答案。如果数据和分析功能分布于多个服务器上,每个服务器都运行一个单独的分析软件副本,最终就会返回多个结果,可以想象,没有合理的数学算法可以将多个结果融合为一个正确的结果(取决于分析的类型)。然而,统计方法或许可以基于在数据子集上进行的计算集合来预估一个正确的值,但对于整个输入数据集来说,实际的正确值仍然是不可计算的。如果在误差窗口中需要实际的正确值,而不是预估值,那么分析就无法使用传统方法来并行处理。

Aster Analytics on Hadoop 通过将 Aster Analytics 软件直接集成到 Hadoop 上成功地解决了这个问题。Aster 处理引擎(被称作“vWorkers”)由 Hadoop YARN 数据操作系统配置并管理。因为在Hadoop 中,Aster 作为本机进程来运行,它可以在整个Hadoop 分布式文件系统(HDFS)访问数据,从而解决多个或不正确的分析结果。与此同时,在Hadoop 上运行Aster Analytics 也解决了分析却无法扩展的问题。

现阶段Teradata Listener 的测试版本已经可以下载,Teradata 公司计划在2016 年第一季度发布产品版本。公司已预定在2016 年第二季度发行。用户可在自己的数据中心或云平台上运行该产品。

查看英文原文: Teradata Announces New Software for Real-Time Analysis of Internet of Things Data


感谢张龙对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群InfoQ 好读者(已满),InfoQ 读者交流群(#2)InfoQ 好读者)。

2015-11-27 18:001910

评论

发布
暂无评论
发现更多内容

原创 | 使用JPA实现DDD持久化-通过Spring Data JPA访问数据

编程道与术

Java hibernate 编程 mybatis jpa

架构师训练营 1 期 -- 第十三周作业

曾彪彪

极客大学架构师训练营

朱嘉明:产业周期、科技周期与金融周期的失衡

CECBC

金融 科技

【涂鸦物联网足迹】用煲仔饭来说明IaaS/PaaS/SaaS的区别

IoT云工坊

云计算 IaaS PaaS SaaS 云平台

阿里云容器服务入选云原生边缘「领导力企业TOP3」,推动「原生云边」基础设施标准建立

阿里巴巴云原生

阿里云 容器 开发者 云原生 边缘计算

原创 | 使用JPA实现DDD持久化-O/R映射元数据-关联属性映射

编程道与术

Java hibernate 编程 mybatis jpa

阿里Java研发第2面,都会问什么?斩获阿里P6+的“他”告诉你答案

Java架构之路

Java 程序员 架构 面试 编程语言

Hive中,同时存在map、array、struct这三种格式,应如何在建表语句中指定分隔符?

Geek_de9857

hive struct map array 分隔符

去 DeepMind 面试是怎样一种体验?

故胤道长

人工智能 面试 谷歌Google 硅谷 移动开发

终于有人把性能优化讲清楚了!阿里架构师推荐的Java性能权威指南可太强了

Java架构之路

Java 程序员 架构 面试 编程语言

盘点 2020 | 感悟总结

idonkeyliu

盘点2020

第九周学习总结

Griffenliu

一周信创舆情观察(12.7~12.13)

统小信uos

原创 | 使用JPA实现DDD持久化-O/R映射元数据-值和关联的比较+继承映射

编程道与术

Java hibernate 编程 mybatis jpa

架构师训练营第四周命题作业

Geek_xq

Mysql中,1=1和 1=1=1 和 -1=-1 和 -1=-1=-1 和 5=5 和 5=5=5 有什么区别

Geek_de9857

MySQL sql 返回值 1=1=1 -1=1=1

一文详解激活函数

书豪

佛萨奇Forsage系统开发,智能合约dapp技术

薇電13242772558

智能合约 dapp

读《全球创新投资:经济大变局中的财富新机遇》

邓瑞恒Ryan

创业 读书笔记 企业 企业管理 产业竞争

原创 | 使用JPA实现DDD持久化-启动JPA程序+通过JPA原生API访问数据

编程道与术

Java hibernate 编程 mybatis jpa

基于区块链的政务平台设计探索

华为云开发者联盟

区块链 架构 安全

阿里Java岗面试必备JVM指南:内存分配+垃圾回收+调优+类加载器等

Java架构之路

Java 程序员 架构 面试 编程语言

架构师训练营第 1 期 -week13

习习

滴滴DoKit阶段性成果汇报之一机多控

工具 滴滴开源 DoKit

15年华为云视频架构师采访实录:揭秘未来音视频行业的科技趋势!

华为云开发者联盟

直播 视频 华为云

原创 | 使用JPA实现DDD持久化-O/R映射元数据-值属性映射

编程道与术

Java hibernate 编程 mybatis jpa

自从看了百度强推的“Spring源码笔记”我从渣渣成功逆袭成为钢铁侠!

比伯

Java 架构 程序人生 计算机 spring源码

JavaScript中,if判断未生效的一些特殊情况

Geek_de9857

js 1 if 0 不生效

eCharts -- 如何修改柱状图中相关数据的顺序?如何在鼠标悬浮时增加百分比信息?如何为柱状图设置分组?

Geek_de9857

柱状图 eCharts 修改数据顺序 百分比提示信息 设置分组

第九周作业

Griffenliu

Java程序员还没有掌握SpringBoot?这一份文档你真应该好好学学!

Java架构之路

Java 程序员 架构 面试 编程语言

Teradata发布物联网数据实时分析软件_移动_Kevin Farnham_InfoQ精选文章