写点什么

Flink 流批一体的技术架构以及在阿里的实践

  • 2019-08-03
  • 本文字数:619 字

    阅读完需:约 2 分钟

Flink 流批一体的技术架构以及在阿里的实践

在 QCon 北京 2019 大会上,杨克特(鲁尼)讲师做了《Flink 流批一体的技术架构以及在阿里的实践》主题演讲,主要内容如下。


演讲简介


Apache Flink 在诞生之初就确立了使用同一个引擎支持多种计算形态的目标,包括流计算,批处理和机器学习等等。阿里巴巴在选择 Flink 作为新一代大数据引擎时也坚定不移的在贯彻这一目标。在我们的内部版本 Blink 中,我们使用了 SQL 作为流批一体的统一入口,并且在流计算和批处理上都做了大量的优化。流批一体也开始真正的发挥出了价值,在我们的搜索离线数据处理和机器学习平台上均获得了较好的效果。本演讲将分享 Blink 针对流批一体化的场景做了哪些优化,在支持实际业务上碰到了哪些问题,我们又是怎么解决的。

听众受益

  1. 了解 Flink SQL 的技术栈和未来的方向;

  2. 流批一体化如何在业务中产生实际价值;

  3. 流批一体化面临的业务挑战和我们是如何解决的。


讲师介绍


杨克特(鲁尼)


阿里巴巴 高级技术专家


杨克特,阿里花名“鲁尼”,高级技术专家,2011 年于浙江大学硕士毕业。在加入阿里巴巴后,先是从事搜索引擎相关系统的开发,包括搜索引擎后台,新索引的设计和优化,以及调度系统的设计和研发。在转入大数据相关领域后,先后负责过基于 HBase 的实时增量系统,基于 Druid 的 OLAP 分析系统以及 Blink SQL 的优化和开发。在开源领域,杨克特是 Apache Flink 的 Committer,同时也是 Apache Druid (incubating)的 Committer。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/beijing/schedule


2019-08-03 08:007037

评论

发布
暂无评论
发现更多内容

前端技术培训需要什么条件

小谷哥

10分钟完成模型开发!合合信息智能文字识别服务平台亮相1024程序员节

合合技术团队

人工智能 文档 识别 摩尔纹

用昇腾AI护航“井下安全”

华为云开发者联盟

人工智能 安全 华为云 企业号十月 PK 榜

教你如何解决T+0的问题

华为云开发者联盟

大数据 华为云 企业号十月 PK 榜

Linux---Linux中Ubuntu镜像之下搭建FTP服务

木偶

Linux ubuntu ftp 10月月更

ClickHouse 和 Elasticsearch 压测对比,谁才是yyds?

程序知音

手把手教你成为荣耀开发者:帐号管理这样做

荣耀开发者服务平台

开发者 手机 安卓 荣耀 honor

VLAN原理和配置,交换机创建vlan的多种方法、三种接口模式的作用和配置方法、Access、Trunk、Hybrid接口的特性以及配置方法和命令

Python-派大星

10月月更

交换机:广播风暴产生原因与解决方法、STP生成树协议 ,根桥(根交换机)、备份根桥、非根交换机、根端口、指定端口、非根非指定端口、桥ID

Python-派大星

10月月更

大数据培训机构该怎么来选择?

小谷哥

vscode插件设置——Golang开发环境配置

甜点cc

Go ide vscode 插件 10月月更

9个计算机的“网络层”知识点

华为云开发者联盟

开发 华为云 网络层 企业号十月 PK 榜

eNSP常用命令 华为模拟器eNSP常用命令

Python-派大星

10月月更

2022全球主流一体化ERP系统十大品牌排行榜

叶落便知秋

SENSORO 付刘伟:图分析在城市治理服务的应用与落地

SENSORO

智慧城市 图数据库 图数据 数据服务

小间距LED显示屏视频拼接器的技术要求

Dylan

LED显示屏 户外LED显示屏 led显示屏厂家

AMD x 稀土掘金 1024码上掘金编程挑战赛来了!

猿始人

1024程序员节

极客时间架构训练营模块三作业

李晨

武汉前端编程培训的就业前景怎么样

小谷哥

前端安全沙箱怎样解决开源的安全问题

Geek_99967b

小程序

SHAREit X Databend | 跨多云 Data Mesh 大数据平台: Why, What and How

Databend

嵌入式 Linux 入门(五、Shell 脚本编程上:认识 Shell 脚本)

矜辰所致

Linux Shell shell脚本编程 10月月更

算法 | 使用栈计算表达式

甜点cc

Go 算法 10月月更

ClickHouse 冷热分离存储在得物的实践

得物技术

数据库 Clickhouse 存储 日志平台 企业号十月 PK 榜

超级App成为Gartner预测的战略技术,软件降本增效是否能进一步提速?

Speedoooo

小程序 Gartner预测 超级app 小程序化 超级应用

西安java开发培训学习哪家机构好

小谷哥

数十倍的数据量增长,传统 OLAP 还能应对吗?

Kyligence

大数据 金融行业 OLAP技术

一份阿里内部GC面试手册,仅一周Github获赞96.9K

程序知音

Java JVM Java虚拟机 java架构 后端技术

开源时代下,怎样强化自己的应用安全

Geek_99967b

小程序

北京大数据学习培训机构哪个好

小谷哥

2022仪器仪表行业ERP系统十大品牌排行榜

叶落便知秋

Flink 流批一体的技术架构以及在阿里的实践_数据库_杨克特(鲁尼)_InfoQ精选文章