data Artisans 应用程序工程总监 Jamie Grier 最近在 OSCON 2016 Conference 大会发言谈到了使用 Apache Flink 构建的一种数据流体系结构。同时还谈到了数据流应用程序的构建块。
数据流体系结构可用于处理随着时间流逝以事件流方式持续生成的数据，这一点不同于传统的静态数据集。相对于传统的集中式“状态化”数据库和数据仓库，数据流应用程序可以处理事件流以及针对历史事件汇总而来的应用程序本地状态。流式数据处理的一些优势包括：
- 降低从信号到决策的过程延迟
- 通过统一的方式处理实时和历史数据
- Time travel 查询
Apache Flink 是一种开源的分布式流化和批量化数据处理平台。Flink 的诞生受到了 Google Data Flow 模型的启发，可支持 Java 和 Scala 语言开发的 Stream Processing API。相比其他流式数据处理框架，Flink 中不存在微批量（Micro batching）数据，而是使用了一种“一次一条消息”的流处理技术。
Jamie 介绍了状态流处理并展示了 Flink 应用程序的代码范例，以及使用开源时序数据库和 Graphana 可视化工具 Influxdb 进行监控的方法。
同时他还介绍了流处理过程中窗口（Windowing）的概念以及处理时间（Processing Time）和事件时间（Event Time）的窗口概念。处理时间的窗口会对流数据的分析产生影响，并会导致数据处理过程中出现某些错误。在事件时间方法中，窗口来自于数据，而非时钟时间。对于事件时间，可通过数据嵌入的时间戳对数据进行处理，这样即可获得更精确的结果。
Jamie 还介绍了在应用程序中使用 Flink 时的错误处理和容错机制。Flink 中的 Savepoints 功能可在不丢失任何状态的情况下对程序和 Flink 集群进行更新。如果要对实时数据进行流处理，此时 Savepoints 数据快照会显得非常重要。
如果你想详细了解 Apache Flink，可访问他们的网站。此外 Flink Forward 2016 Conference 活动将于九月在柏林召开，提交提案的截止日期为2016 年6 月30 日。
公众号推荐：
AIGC 技术正以惊人的速度重塑着创新的边界，InfoQ 首期《大模型领航者AIGC实践案例集锦》电子书，深度对话 30 位国内顶尖大模型专家，洞悉大模型技术前沿与未来趋势，精选 10 余个行业一线实践案例，全面展示大模型在多个垂直行业的应用成果，同时，揭秘全球热门大模型效果，为创业者、开发者提供决策支持和选型参考。关注「AI前线」，回复「领航者」免费获取电子书。
暂无签名
分布式云行业实践指南（2023）
业内首个分布式云行业实践方法论、工具箱。
评论