写点什么

Flink 流批一体的技术架构以及在阿里的实践

  • 2019-08-03
  • 本文字数:619 字

    阅读完需:约 2 分钟

Flink 流批一体的技术架构以及在阿里的实践

在 QCon 北京 2019 大会上,杨克特(鲁尼)讲师做了《Flink 流批一体的技术架构以及在阿里的实践》主题演讲,主要内容如下。


演讲简介


Apache Flink 在诞生之初就确立了使用同一个引擎支持多种计算形态的目标,包括流计算,批处理和机器学习等等。阿里巴巴在选择 Flink 作为新一代大数据引擎时也坚定不移的在贯彻这一目标。在我们的内部版本 Blink 中,我们使用了 SQL 作为流批一体的统一入口,并且在流计算和批处理上都做了大量的优化。流批一体也开始真正的发挥出了价值,在我们的搜索离线数据处理和机器学习平台上均获得了较好的效果。本演讲将分享 Blink 针对流批一体化的场景做了哪些优化,在支持实际业务上碰到了哪些问题,我们又是怎么解决的。

听众受益

  1. 了解 Flink SQL 的技术栈和未来的方向;

  2. 流批一体化如何在业务中产生实际价值;

  3. 流批一体化面临的业务挑战和我们是如何解决的。


讲师介绍


杨克特(鲁尼)


阿里巴巴 高级技术专家


杨克特,阿里花名“鲁尼”,高级技术专家,2011 年于浙江大学硕士毕业。在加入阿里巴巴后,先是从事搜索引擎相关系统的开发,包括搜索引擎后台,新索引的设计和优化,以及调度系统的设计和研发。在转入大数据相关领域后,先后负责过基于 HBase 的实时增量系统,基于 Druid 的 OLAP 分析系统以及 Blink SQL 的优化和开发。在开源领域,杨克特是 Apache Flink 的 Committer,同时也是 Apache Druid (incubating)的 Committer。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/beijing/schedule


2019-08-03 08:006859

评论

发布
暂无评论
发现更多内容

MySQL基础之三:条件查询

打工人!

MySQL 6月日更

Golang channel 通道

escray

学习 极客时间 Go 语言 6月日更

Java 并发编程—— CountDownLatch 应用

Antway

6月日更

可落地的积极心态

蛋先生DX

心态 6月日更

模块5作业

wade

#架构实战营

架构实战营 模块五:学习总结

👈

架构实战营

如果父母依旧辛苦,那我们的成长又有什么意义?

牧小农

故事 父母

架构实战营 模块五:课后作业

👈

架构实战营

模块五 作业

夏日

架构实战营

【译】JavaScript 代码整洁之道-函数篇

KooFE

JavaScript 大前端 函数 6月日更 整洁代码

网络攻防学习笔记 Day36

穿过生命散发芬芳

网络攻防 6月日更

Hadoop实战篇(1)

进击的梦清

大数据 hadoop Linux

商业模式创新

soho

web ssh解决方案——WGCLOUD

王逅逅

zabbix linux运维 运维监控

设计微博系统中”微博评论“的高性能高可用计算架构

方堃

MySQL普通索引的加锁

程序员小航

MySQL 数据库锁

Kubernetes手记(2)- 核心组件/附件

雪雷

k8s 6月日更

Go并发编程-channel多路复用

Rayjun

Go 语言 select

Go 并发基础

Damon

Go 语言 6月日更

使用 Docker 安装并连接 MySQL

程序员小航

MySQL Docker

Python位运算符——详解

在即

6月日更

JSON.parse无双引号如何实现转换

吴脑的键客

JavaScript

MySQL next-key lock 加锁范围是什么?

程序员小航

MySQL 索引 数据库锁 主键

看来,MySQL next-key lock 的 bug 并没有被修复!

程序员小航

MySQL 数据库锁

权限与认证:基于JWT的授权实现

程序员架构进阶

架构 JWT 认证授权 28天写作 6月日更

模块5 设计微博系统中”微博评论“的高性能高可用计算架构

Chris Cheng

架构实战营

身为程序员 你真的会使用github搜索吗?

madison

GitHub GitHub Pages 高效搜索 搜索技巧

高级软件工程师必备的五大技能

架构精进之路

6月日更 软素质

音频和视频流最佳选择?SRT协议解析及报文识别

明儿

音视频 协议 流媒体开发

【Vue2.x 源码学习】第五篇 - 数组的劫持

Brave

源码 vue2 6月日更

标识符与保留字(即关键字)

在即

6月日更

Flink 流批一体的技术架构以及在阿里的实践_数据库_杨克特(鲁尼)_InfoQ精选文章