Jeff Bean谈Flink与流式处理的5大新发现

2018 年 11 月 25 日

Jeff Bean谈Flink与流式处理的5大新发现

AI 前线导读:

在大数据领域工作了近 8 年后,今年秋天,作为 data Artisans 的技术布道师,我在 Apache Flink 社区变得越来越活跃。在十月份举行的湾区 Flink 座谈会上,我从技术从业者的角度讨论了我对 Flink 的看法。虽然我是一名 Flink 新手,但我已经在大数据领域工作了很长时间。正如我在座谈会上所说的,我对人们这个领域的关注、投入和好奇心感到震惊。回想起来,这符合我对 Apache Flink 和 Apache Flink 社区的总体印象。下面我想介绍有关 Apache Flink 的 5 个早期印象,以及为什么企业应该在他们的流式处理架构中尽早尝试 Flink。

更多干货内容请关注微信公众号“AI 前线”(ID:ai-front)

流式处理一直是大数据项目的必经之路。

我在 2010 年进入大数据领域,当时最先进的是分布式文件系统,MapReduce、Hive、Pig、Flume 和 HBase。然而,低延迟数据处理长期以来一直是一个巨大的挑战。例如,在我进入该领域工作的头几个月,一位客户问我如何在 Hive 中对一个不断增长的表基于五分钟滚动窗口产生最新的聚合。这是一个非常困难的查询,客户和我都没有想出来该怎么做。MapReduce、Hive、Pig 和后来的 Spark 使用越来越小的批处理操作来处理大量不同数据,获得接近低延迟的结果。一些框架如 Flume 和后来的 Kafka 让数据摄取、封装和传输变得更容易。其他查询系统(如 HBase、Cassandra、Presto 和 Impala)可以近似实时地对新近摄取的数据进行交互式访问。但是,所有这些项目都忽略了客户和业务用户真正的需求:将数据表示为流,并基于流进行复杂有状态的分析。客户和最终用户通过各种有趣且昂贵的方式与延迟做斗争。

原文链接:【 https://www.infoq.cn/article/hCzG*E8NIZi43ruvM3TT 】。未经作者许可,禁止转载。

登录后可解锁全站优质内容

免费畅享技术公开课、顶尖技术团队访谈、一线互联网大厂技术实践

文章
视频
电子书
研究报告
立即登录
2018 年 11 月 25 日 14:00 1494
用户头像

发布了 66 篇内容,共 488 次阅读,收获喜欢 0 次。

关注

评论 1 条评论

发布
暂无评论
发现更多内容

JVM源码分析之JVM启动流程

猿灯塔

语雀性感,印象迟暮。

彭宏豪95

工具 学习笔记 在线办公

Golang testing: “no test files”

北纬32°

golang

首厚智能:嵌入 SpreadJS 表格组件,搭建实验室信息管理系统(LIMS)

Geek_Willie

SpreadJS 实验室管理系统 Lims

《3个月9门课,谈下我的极客时间学习活动的心得》

王伟鹏

k8s上运行我们的springboot服务之——热点数据

柠檬

redis

极客时间学习心得:用分类和聚焦全面夯实技术认知

Anfernee Hu

学习方法

永中云转换新升级 文档在线预览增添更多选择

DT极客

深入浅出SpringMVC系列~

程序员的时光

spring springmvc

实战!我用 Wireshark 让你 “看得见“ TCP

小林coding

Linux TCP 计算机网络

kube-prometheus抓取jvm监控指标

天飞

Java JVM Prometheus kubernete

KubeSphere权威指南(一)--------使用KubeSphere创建Percona Server,并对外暴露端口

赵欣

k8s percona server

乙己说:NUMA是个啥?

再见小飞侠

jdk G1 ZGC 内存

5天掌握以太坊 dApp 开发

陈东泽 EuryChen

比特币 区块链 智能合约 以太坊 dapp

一文搞懂Spring依赖注入

麦叔

Python 如何随机打乱列表(List)排序

Young先生

Python List random 随机

分布式数据库

Leiy

我的事务为什么会失效

JFound

spring

Linux 常用命令

Jayli

#linux

k8s上运行我们的springboot服务之——简单的架构思考

柠檬

k8s springboot

健康饮食和定期运动带给我们的一点启示

七镜花园-董一凡

生活质量

数据产品经理实战-开篇

第519区

数据产品经理

高内聚与低耦合

落英亭郎

面向对象 高内聚 低耦合

汇总一下Intellij IDEA常用的牛逼插件

公众号:V5codings

c++代码整洁之道

this_is_for_u

c c++ C#

Android | Tangram动态页面之路(六)数据分离

哈利迪

android

科学理论的反思

美多丽可

学习

乙己说:LRU实现思路整理

再见小飞侠

golang 缓存 LeetCode

云上数据库类产品的模式与发展趋势

韩超

数据库 redis 腾讯云 阿里云

怎么用"设计思维"思考产品?

Yanel 说敏捷产品

产品 设计 产品设计 产品开发

[从零学习Spring Cloud]Nacos配置中心

玏佾

Spring Cloud nacos

众安黑客马拉松大赛总决赛-InfoQ小编探班

众安黑客马拉松大赛总决赛-InfoQ小编探班

Jeff Bean谈Flink与流式处理的5大新发现 -InfoQ