10 月 23 - 25 日,QCon 上海站即将召开,现在大会已开始正式报名,可以享受 8 折优惠 了解详情
写点什么

物联网及电子交易的实时 BI 分析场景探讨

  • 2021-03-24
  • 本文字数:2009 字

    阅读完需:约 7 分钟

物联网及电子交易的实时BI分析场景探讨

在大数据时代,消费互联网和工业互联网每时每刻都在产生大量的实时流式数据,以 Flink、Spark Streaming 为代表的流数据处理系统将数据处理之后,通过 Kafka,MQTT 等通道分发给各种下游系统。在实际应用中,对于可连接流式数据的可视化平台的需求应运而生。本文将基于实时数据可视化软件 Altair Panopticon 与大家共同探讨物联网及电子交易的实时 BI 分析场景。

为什么需要实时流数据 BI 软件?

在电子交易、物(车)联网、工业制造、电信和能源等对实时性要求高以及需要事中分析的业务场景中,延迟的决策是代价高昂的。


Altair Panopticon™允许业务用户和工程师使用 UI 界面, 构建、修改和部署复杂的流式数据分析和可视化应用程序。用户可以连接到几乎任何数据源,包括实时流式数据,如 Kafka 和时序数据库。开发复杂的流数据处理流程,并设计可视化界面,从而在大量快速变化的数据上做出迅速和充分的决策。

1. 实时数据可视化软件 Altair Panopticon

Panopticon 是 Altair 公司的实时流数据及可视化商务智能(BI)分析平台,包括 Panopticon Visual Analytics 和 Panopticon Streams 两个主要模块。


其中,Panopticon Visual Analytics 是市场上唯一真正的实时数据可视化系统,Panopticon 作为基于流式数据的可视化方案,具有卓越的速度、灵活性和可扩展性,进一步简化了用户生成分析报表、仪表板的过程。


而 Panopticon Streams 是一个流数据处理引擎,支持用户在完全可视化的界面上构建复杂的流数据处理流程。

2. Panopticon 产品架构

Panopticon 可以直接与各种实时信息系统,包括 MQTT, Kafka, Solace, Rabbit MQ 等,以及时间序列数据存储,包括 Kx kbd+, OneTick, MemSQL, Vertica, SparkSQL 等集成。并这些数据的基础上,生成可视化分析报告。



3. 主要功能

① 实时数据分析:从直连实时数据开始,构建支持纳秒级别的实时数据分析,同时支持任何速度的回放数据流。支持的数据连接包括文件、数据库和流式数据源。



② 无代码开发:使用 UI 界面,通过点击和拖拽生成流数据处理和分析看板。快速响应不断变化的业务需求,降低风险和成本,并可以在几分钟内快速部署新的流程和仪表板。分析人员可以在 Panopticon 中快速、直观地分析时间序列和实时数据,从而能够在几秒钟内发现操作环境中的异常情况。



③ 构建基于 Kafka 的流数据处理程序:Panopticon Streams 流处理引擎基于 Apache Kafka 构建,支持实时数据的聚合、计算和警报。用户无需编写任何 Java、Scala 或者 KSQL 代码就可以实现 Kafka 数据流处理功能。



  • 流式数据准备:将多个实时流与历史数据源相结合

  • 计算引擎:根据业务需求计算性能指标

  • 聚合驱动程序:根据需要组合数据

  • 报警引擎:根据用户定义的阈值突出显示异常情况

  • 集成了 Confluent 企业级控制台

  • 扩展对物联网环境的支持,包括制造、能源、公用事业和运输物流   

典型业务应用场景

1. F1 赛车遥测数据的实时可视化和数据洞察,提升赛车成绩

为了具备更强的竞赛能力,每换到一条赛道或每次遇到天气变化时,都需要重新调校 F1 赛车。有时车队会通过遥测系统反馈的信息、以往比赛取得的经验、以往赛季中记录的数据和计算机模拟的结果对赛车进行有限的调校。


在下方视频中,我们将会介绍如何无需代码使用 Altair Panopticon 实时可视化 F1 赛车的遥测数据,并从数据中获得洞察,从而进一步优化提高性能。

2. 智能电表实时监控与分析

目前的电力公司借助于物联网技术,可以实现对管辖区域内的用电情况实时监控与分析,包括峰谷时间的用电量、用电峰值异常变化、分析历史数据,以及预判供电负荷等,这些目标都需要借助于当前的智能电表数据采集和传输功能来实现。

3. 实时监控市场风险

风险分析师使用这种可视化分析来监控公司各交易层级在指定时间内的承受风险。他们可以设置警报,以在风险超过预定阈值时通知他们,并使用视觉和过滤器在几秒钟内确定任何异常的原因。

4. 实时监控物流车队

使车队运营商能够分析来自传感器和其他来源的关键数据流。这种对车辆和驾驶员性能的实时可视性有助于降低运营成本、保护人员和资产并提高生产率。

分析员可以实时显示所有资产当前位置的地图,检查路线偏差,对任何一组参数设置程序警报,并比较驾驶员的行为。

  • 用户根据自己的业务需要,自定义监控仪表板

比如:驾驶员状态列表,车辆地理位置信息,时间与距离的散点图来查看驾驶员的异常值和平均值等。



  • 回看历史,了解驾驶员的行驶情况,并与其他人或历史数据比较,优化行驶路线等。


5. 实时交易,成本分析与损益统计

此看板旨在使交易员,量化和销售人员能够监视最佳执行情况,并实时分析交易活动的损益以及交易成本。这使他们能够在交易日内立即响应市场事件以及对客户订单流执行和公司获利能力的威胁。



作者简介

Altair 数据分析团队致力于打造企业级数据产品及解决方案,包括数据清洗、数据处理、数据建模、实时数据可视化等多方面业务场景,拥有国内外丰富行业经验,如金融、零售、制造业等等。


本文转载自:DataFunTalk(ID:dataFunTalk)

原文链接:物联网及电子交易的实时BI分析场景探讨

2021-03-24 14:002154

评论

发布
暂无评论
发现更多内容

一个线程池中的线程异常了,那么线程池会怎么处理这个线程?

Java架构师迁哥

flutter 高效开发工具集

Daniel

golang 表格编程降低圈复杂度

猴子胖胖

表格开发 Go 语言

添加字幕哪个视频剪辑软件比较简单?

奈奈的杂社

视频创作 视频剪辑 视频后期 自媒体 后期字幕

2020年程序员必备的面试重点+面试真题+个人软实力,你学废了吗?

Java架构师迁哥

阿里P8大牛的建议,工作1-5年的Java工程师如何让自己变得更值钱

Java架构之路

Java 编程 程序员 面试

架构师训练营第 1 期 第 1 周作业

李循律

Java 回调(Callback)接口学习使用

魏杰

nginx 实现接口版本控制

程序员与厨子

php nginx laravel 版本控制

(2)skynet ubuntu下载与安装

休比

区块链用于支付手段只是开端

CECBC

区块链 金融

“大数据+区块链”的智慧城市建设!

CECBC

区块链 大数据

环信和阿里云签署云原生合作,携手共建云通讯“新基建”

DT极客

支付平台架构技术实现之终端安全

博文视点Broadview

架构 安全攻防 安全 支付系统 风控

腾讯架构师:亲手Debug之后,你就知道为何面试问源码了

小Q

Java tomcat 程序员 架构 调优

2020大厂面试一道高频Spring题,90%的Java开发者都拜倒在它脚下!

Java架构师迁哥

深度解析物联网设备的区块链技术

CECBC

区块链 智能合约 物联网

整合Elastic-Job(支持动态任务)

TaurusCode

springboot SpringCloud 分布式任务调度 Elastic-job

技术译文|如何将 Pulsar 用作消息队列

Apache Pulsar

开源 云原生 pulsar Apache Pulsar 消息中间件

揭示智能边缘重大机遇 英特尔邀产学研推动产业智能升级

E科讯

海量数据拉升背后的成本困扰:存算分离成美图降本增效新良方

华为云开发者联盟

大数据 华为云 海量数据

分布式系统实践解读丨详解高内聚低耦合

华为云开发者联盟

华为云推UGO:一手抓结构迁移,一手抓SQL转换

华为云开发者联盟

时空碰撞优化系列·一

誓约·追光者

hive 数据分析 Sparksql 计算效率 优化

智谱AI首席科学家唐杰团队荣获国际数据挖掘顶会时间检验应用科学奖

DT极客

恶补,一文了解 8 种常见的数据结构

Java架构师迁哥

你一定看得懂的Netty客户端启动源码分析!

Java 编程 Netty 架构师

Java引入第三方包的路径问题

谷鱼

路径

华为云IoT智简联接,开启物联世界新纪元

华为云开发者联盟

物联网

从全备中恢复单库或单表,小心有坑!

Simon

MySQL MySQL 运维

新疆采风笔记:送行·出发·火车上

刘新吾

随笔 旅行 新疆

物联网及电子交易的实时BI分析场景探讨_大数据_DataFunTalk_InfoQ精选文章