写点什么

Apache Flink 实现的数据流体系结构

  • 2016 年 6 月 12 日
  • 本文字数:804 字

    阅读完需:约 3 分钟

data Artisans 应用程序工程总监 Jamie Grier 最近在 OSCON 2016 Conference 大会发言谈到了使用 Apache Flink 构建的一种数据流体系结构。同时还谈到了数据流应用程序的构建块。

数据流体系结构可用于处理随着时间流逝以事件流方式持续生成的数据,这一点不同于传统的静态数据集。相对于传统的集中式“状态化”数据库和数据仓库,数据流应用程序可以处理事件流以及针对历史事件汇总而来的应用程序本地状态。流式数据处理的一些优势包括:

  • 降低从信号到决策的过程延迟
  • 通过统一的方式处理实时和历史数据
  • Time travel 查询

Apache Flink 是一种开源的分布式流化和批量化数据处理平台。Flink 的诞生受到了 Google Data Flow 模型的启发,可支持 Java 和 Scala 语言开发的 Stream Processing API。相比其他流式数据处理框架,Flink 中不存在微批量(Micro batching)数据,而是使用了一种“一次一条消息”的流处理技术。

Jamie 介绍了状态流处理并展示了 Flink 应用程序的代码范例,以及使用开源时序数据库和 Graphana 可视化工具 Influxdb 进行监控的方法。

同时他还介绍了流处理过程中窗口(Windowing)的概念以及处理时间(Processing Time)和事件时间(Event Time)的窗口概念。处理时间的窗口会对流数据的分析产生影响,并会导致数据处理过程中出现某些错误。在事件时间方法中,窗口来自于数据,而非时钟时间。对于事件时间,可通过数据嵌入的时间戳对数据进行处理,这样即可获得更精确的结果。

Jamie 还介绍了在应用程序中使用 Flink 时的错误处理和容错机制。Flink 中的 Savepoints 功能可在不丢失任何状态的情况下对程序和 Flink 集群进行更新。如果要对实时数据进行流处理,此时 Savepoints 数据快照会显得非常重要。

如果你想详细了解 Apache Flink,可访问他们的网站。此外 Flink Forward 2016 Conference 活动将于九月在柏林召开,提交提案的截止日期为2016 年6 月30 日。

查看英文原文 Data Streaming Architecture with Apache Flink

2016 年 6 月 12 日 19:002338
用户头像

发布了 283 篇内容, 共 91.8 次阅读, 收获喜欢 51 次。

关注

评论

发布
暂无评论
发现更多内容

第五周笔记

Ashley.

开发者的福音,go也支持linq了

happlyfox

学习 28天写作 2月春节不断更 Go 语言

周六

IT蜗壳-Tango

七日更 28天写作 二月春节不断更

最新“美团+字节+腾讯”三面面经,你能撑到哪一面?

Java架构之路

Java 程序员 架构 面试 编程语言

诊所数字化:实施私域,诊所店员的赋能路径

boshi

数字化医疗 私域运营 七日更 28天写作

Linux之旅 - 行程介绍

诚义舅

bash Linux Shell

三年Java开发,年底跳槽挂了阿里和字节,却收获美团offer,分享大厂面试心得

Java架构之路

Java 程序员 架构 面试 编程语言

成为阿里P7移动架构师到底有多难?带你快速通过字节跳动面试,讲的明明白白!

欢喜学安卓

android 程序员 面试 移动开发

LeetCode题解:121. 买卖股票的最佳时机,JavaScript,动态规划,详细注释

Lee Chen

算法 大前端 LeetCode

《华为技术认证HCNA网络技术实验指南》参考配置Ⅰ

依旧廖凯

华为 网络 交换机

备战金三银四必备:2021最新Java面试汇总(附答案解析)

比伯

Java 编程 架构 面试 计算机

神操:凭借“阿里Java脑图”,成功斩获腾讯、蚂蚁、B站、字节、滴滴等5个Offer

Java架构师迁哥

你知道 HTTP 是如何使用 TCP 连接的吗?今天我就来告诉你

程序员改bug

Java 架构 HTTP

普本毕业,阿里五面成功斩下offer,名校出身的我究竟输在哪?

Java架构之路

Java 程序员 架构 面试 编程语言

基于matlab的控制系统与仿真6-PID控制模型

AXYZdong

matlab 2月春节不断更

2021最全iOS面试题及底层视频分享专栏

ios 面试 音视频 iOS底层 iOS逆向

“他者”德意志(二):“走稳路”的德国半导体

脑极体

第五周 第二课笔记

Geek_娴子

可能是Java Stream的最佳实践(三)

ES_her0

28天写作

Newbe.Claptrap 框架入门,第二步 —— 创建项目

newbe36524

Docker 云计算 分布式 微服务 .net core

架构设计篇之微服务实战笔记(八)

小诚信驿站

架构 刘晓成 小诚信驿站 28天写作

第五周 第一课笔记

Geek_娴子

Linux之旅 - 自序

诚义舅

bash Linux Shell

刷了一个月leetcode算法,成功收下阿里巴巴、网易等大厂的offer

程序员改bug

架构 算法

Newbe.Claptrap 框架入门,第一步 —— 开发环境准备

newbe36524

Docker 云计算 分布式 微服务 .net core

2021最新华为面经分享:Java高分面试指南(25分类1000题50w字解析)

比伯

Java 编程 架构 面试 计算机

第五周作业

Ashley.

Selenium 项目代码的优化与重构之路,滚雪球学 Python 番外篇

梦想橡皮擦

Python 28天写作 2月春节不断更

Nginx入门的基本使用和配置详解

数据库 架构 运维

2021年金三银四Java面试突击大全,吃透这套Java真题合集,突破BAT面试官这道“防线”

Java 架构 面试

安卓开发环境!一份字节跳动面试官给你的Android技术面试指南,终获offer

欢喜学安卓

android 程序员 面试 移动开发

Apache Flink实现的数据流体系结构_语言 & 开发_Srini Penchikala_InfoQ精选文章