【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

Apache Flink 实现的数据流体系结构

  • 2016-06-12
  • 本文字数:804 字

    阅读完需:约 3 分钟

data Artisans 应用程序工程总监 Jamie Grier 最近在 OSCON 2016 Conference 大会发言谈到了使用 Apache Flink 构建的一种数据流体系结构。同时还谈到了数据流应用程序的构建块。

数据流体系结构可用于处理随着时间流逝以事件流方式持续生成的数据,这一点不同于传统的静态数据集。相对于传统的集中式“状态化”数据库和数据仓库,数据流应用程序可以处理事件流以及针对历史事件汇总而来的应用程序本地状态。流式数据处理的一些优势包括:

  • 降低从信号到决策的过程延迟
  • 通过统一的方式处理实时和历史数据
  • Time travel 查询

Apache Flink 是一种开源的分布式流化和批量化数据处理平台。Flink 的诞生受到了 Google Data Flow 模型的启发,可支持 Java 和 Scala 语言开发的 Stream Processing API。相比其他流式数据处理框架,Flink 中不存在微批量(Micro batching)数据,而是使用了一种“一次一条消息”的流处理技术。

Jamie 介绍了状态流处理并展示了 Flink 应用程序的代码范例,以及使用开源时序数据库和 Graphana 可视化工具 Influxdb 进行监控的方法。

同时他还介绍了流处理过程中窗口(Windowing)的概念以及处理时间(Processing Time)和事件时间(Event Time)的窗口概念。处理时间的窗口会对流数据的分析产生影响,并会导致数据处理过程中出现某些错误。在事件时间方法中,窗口来自于数据,而非时钟时间。对于事件时间,可通过数据嵌入的时间戳对数据进行处理,这样即可获得更精确的结果。

Jamie 还介绍了在应用程序中使用 Flink 时的错误处理和容错机制。Flink 中的 Savepoints 功能可在不丢失任何状态的情况下对程序和 Flink 集群进行更新。如果要对实时数据进行流处理,此时 Savepoints 数据快照会显得非常重要。

如果你想详细了解 Apache Flink,可访问他们的网站。此外 Flink Forward 2016 Conference 活动将于九月在柏林召开,提交提案的截止日期为2016 年6 月30 日。

查看英文原文 Data Streaming Architecture with Apache Flink

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2016-06-12 19:002569
用户头像

发布了 283 篇内容, 共 101.6 次阅读, 收获喜欢 61 次。

关注

评论

发布
暂无评论
发现更多内容

深入剖析go中字符串的编码问题——特殊字符的string怎么转byte?

Gopher指北

后端 string utf-8 Go 语言

Python 为什么不支持 switch 语句?

Python猫

Python 编程

spring-boot-route(九)整合JPA操作数据库

Java旅途

Java Spring Boot jpa

架构师训练营第三周作业(9.28-10.4)

zjzj2017

有这些要素,架构才完整

北风

架构 架构师之道 架构方法

架构师训练营第三周课后作业

Gosling

极客大学架构师训练营

单例模式

魏小龙

2N方定点算法

武夷梅占

php 数据库 分布式 算法 后端

入行架构师之前,这7项技能你要先了解一下

Java架构师迁哥

3. CocoaPods 命令解析 - CLAide

Edmond

ruby ios objective-c CocoaPods PackageManager

Redis-技术专题- 热点Key如何解决

洛神灬殇

架构师训练营第 1 期第 4 周学习总结

好吃不贵

实用威胁建模指南(一)

亚伦碎语

敏捷 安全设计 系统安全 #威胁建模

如何高质量学习与正确运用设计模式

木香丘

学习 设计模式 实战

Serverless 多云解决方案 Malagu

木香丘

云计算 Serverless 架构 云原生 Malagu

Malagu 框架介绍

木香丘

云计算 开源 Serverless 架构 框架

缓存服务-技术专题-解决方案

洛神灬殇

架构师训练营第四周学习总结

尹斌

第四周作业

极客大学架构师训练营

Hazelcast IMDG 带你瞬间进入内存计算的时代

张磊

分布式计算 内存管理 分布式缓存 分布式内存网格

发几张国庆的照片

亨利笔记

容器 k8s Harbor 镜像

架构师训练营第三周学习总结

Gosling

极客大学架构师训练营

极客时间架构 1 期:第 3 周代码重构 - 命题作业

Null

极客时间架构 1 期:第 3 周代码重构 - 学习总结

Null

LeetCode题解:226. 翻转二叉树,递归,JavaScript,详细注释

Lee Chen

大前端 LeetCode

架构师1期-代码重构作业

ltl3884

极客大学架构师训练营

架构师训练营第四周作业

尹斌

Redis-技术专题-基础介绍

洛神灬殇

架构师训练营第三小结(9.28-10.4)

zjzj2017

爆赞!这份《Java核心宝典》绝对是面试复习的最佳选择

Java架构之路

Java 程序员 面试 编程语言

架构师训练营第 1 期第 4 周作业

好吃不贵

极客大学架构师训练营

Apache Flink实现的数据流体系结构_语言 & 开发_Srini Penchikala_InfoQ精选文章