Flink 基础教程 (3):为何选择 Flink 1.1.2

阅读数:9 2019 年 11 月 24 日 22:28

Flink基础教程(3):为何选择 Flink 1.1.2

(物联网)

内容简介
近年来,流处理变得越来越流行。作为高度创新的开源流处理器,Flink 拥有诸多优势,包括容错性、高吞吐、低延迟,以及同时支持流处理和批处理的能力。本书分为 6 章,侧重于介绍 Flink 的核心设计理念、功能和用途,内容涉及事件时间和处理时间、窗口和水印机制、检查点机制、性能测评,以及 Flink 如何实现批处理。
本书面向有兴趣学习如何分析大规模流数据的读者。

物联网是流数据被普遍应用的领域。在物联网中,低延迟的数据传输和处理,以及准确的数据分析通常很关键。各类仪器中的传感器频繁地获得测量数据,并将它们以流的形式传输至数据中心。在数据中心内,实时或者接近实时的应用程序将更新显示板,运行机器学习模型,发布警告,并就许多不同的服务项目提供反馈。

交通运输业也体现了流处理的重要性。举例来说,先进的列车系统依靠的是传感器测量数据,这些数据从轨道传至列车,再从列车传至沿途的传感器;与此同时,报告也被发送回控制中心。测量数据包括列车的速度和位置,以及轨道周边的状况。如果流数据没有被正确处理,调整意见和警告就不能相应产生,从而也就不能通过对危险状况做出反应来避免事故发生。

另一个例子是“智能”汽车,或称联网汽车,它们通过移动网络将数据传输回制造商。在有些国家(北欧国家、法国和英国,美国则刚开始),联网汽车甚至可以将信息传给保险公司;如果是赛车,信息还可以通过射频链路传送至维修站进行分析。此外,一些智能手机应用程序还支持数百万司机共享实时路况信息。

Flink基础教程(3):为何选择 Flink 1.1.2

图 1-1:许多情况都需要考虑数据的时效性,包括使用物联网数据的交通运输业。供数百万司机共享的实时路况信息依靠的是对流数据及时地进行合理和准确的分析(图片来源:©2016 弗里德曼)

物联网对公用事业也有影响。相关公司已经开始安装智能计量表,以替换每个月需要人工读数的旧表。智能计量表可以定期将用电量反馈给公司(例如每 15 分钟一次)。有些公司正在尝试每 30 秒就进行一次测量。使用智能计量表的这一转变带来了大量的流数据,同时也获得了大量的潜在收益。其中一个好处就是通过机器学习模型来检测设备故障或者窃电等使用异常。如果不能对流数据进行高吞吐、低延迟和准确的处理,这些新的目标都无法实现。

如果流处理做得不好,其他物联网项目也会遭殃。大型设备,比如风力涡轮机、生产设备和钻井泵,都依赖对传感器测量数据的分析来获得故障警告。如果不能及时地处理好这些设备的流数据,将可能付出高昂的代价,甚至导致灾难性后果。

Flink基础教程(3):为何选择 Flink 1.1.2

图灵地址 https://www.ituring.com.cn/book/2036

评论

发布