data Artisans 应用程序工程总监 Jamie Grier 最近在 OSCON 2016 Conference 大会发言谈到了使用 Apache Flink 构建的一种数据流体系结构。同时还谈到了数据流应用程序的构建块。
数据流体系结构可用于处理随着时间流逝以事件流方式持续生成的数据，这一点不同于传统的静态数据集。相对于传统的集中式“状态化”数据库和数据仓库，数据流应用程序可以处理事件流以及针对历史事件汇总而来的应用程序本地状态。流式数据处理的一些优势包括：
- 降低从信号到决策的过程延迟
- 通过统一的方式处理实时和历史数据
- Time travel 查询
Apache Flink 是一种开源的分布式流化和批量化数据处理平台。Flink 的诞生受到了 Google Data Flow 模型的启发，可支持 Java 和 Scala 语言开发的 Stream Processing API。相比其他流式数据处理框架，Flink 中不存在微批量（Micro batching）数据，而是使用了一种“一次一条消息”的流处理技术。
Jamie 介绍了状态流处理并展示了 Flink 应用程序的代码范例，以及使用开源时序数据库和 Graphana 可视化工具 Influxdb 进行监控的方法。
同时他还介绍了流处理过程中窗口（Windowing）的概念以及处理时间（Processing Time）和事件时间（Event Time）的窗口概念。处理时间的窗口会对流数据的分析产生影响，并会导致数据处理过程中出现某些错误。在事件时间方法中，窗口来自于数据，而非时钟时间。对于事件时间，可通过数据嵌入的时间戳对数据进行处理，这样即可获得更精确的结果。
Jamie 还介绍了在应用程序中使用 Flink 时的错误处理和容错机制。Flink 中的 Savepoints 功能可在不丢失任何状态的情况下对程序和 Flink 集群进行更新。如果要对实时数据进行流处理，此时 Savepoints 数据快照会显得非常重要。
如果你想详细了解 Apache Flink，可访问他们的网站。此外 Flink Forward 2016 Conference 活动将于九月在柏林召开，提交提案的截止日期为2016 年6 月30 日。
公众号推荐：
跳进 AI 的奇妙世界，一起探索未来工作的新风貌！想要深入了解 AI 如何成为产业创新的新引擎？好奇哪些城市正成为 AI 人才的新磁场？《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造，为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者，还是对生成式 AI 充满好奇的新手，这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号，回复「开发者洞察」领取。
暂无签名
分布式云行业实践指南（2023）
业内首个分布式云行业实践方法论、工具箱。
评论