Flink 流批一体的技术架构以及在阿里的实践

阅读数:1821 2019 年 8 月 3 日 08:00

Flink 流批一体的技术架构以及在阿里的实践

在 QCon 北京 2019 大会上,杨克特(鲁尼)讲师做了《Flink 流批一体的技术架构以及在阿里的实践》主题演讲,主要内容如下。

演讲简介

Apache Flink 在诞生之初就确立了使用同一个引擎支持多种计算形态的目标,包括流计算,批处理和机器学习等等。阿里巴巴在选择 Flink 作为新一代大数据引擎时也坚定不移的在贯彻这一目标。在我们的内部版本 Blink 中,我们使用了 SQL 作为流批一体的统一入口,并且在流计算和批处理上都做了大量的优化。流批一体也开始真正的发挥出了价值,在我们的搜索离线数据处理和机器学习平台上均获得了较好的效果。本演讲将分享 Blink 针对流批一体化的场景做了哪些优化,在支持实际业务上碰到了哪些问题,我们又是怎么解决的。

听众受益

  1. 了解 Flink SQL 的技术栈和未来的方向;
  2. 流批一体化如何在业务中产生实际价值;
  3. 流批一体化面临的业务挑战和我们是如何解决的。

讲师介绍

杨克特(鲁尼)

阿里巴巴 高级技术专家

杨克特,阿里花名“鲁尼”,高级技术专家,2011 年于浙江大学硕士毕业。在加入阿里巴巴后,先是从事搜索引擎相关系统的开发,包括搜索引擎后台,新索引的设计和优化,以及调度系统的设计和研发。在转入大数据相关领域后,先后负责过基于 HBase 的实时增量系统,基于 Druid 的 OLAP 分析系统以及 Blink SQL 的优化和开发。在开源领域,杨克特是 Apache Flink 的 Committer,同时也是 Apache Druid (incubating)的 Committer。

Flink 流批一体的技术架构以及在阿里的实践

Flink 流批一体的技术架构以及在阿里的实践

Flink 流批一体的技术架构以及在阿里的实践

Flink 流批一体的技术架构以及在阿里的实践

Flink 流批一体的技术架构以及在阿里的实践

Flink 流批一体的技术架构以及在阿里的实践

Flink 流批一体的技术架构以及在阿里的实践

Flink 流批一体的技术架构以及在阿里的实践

Flink 流批一体的技术架构以及在阿里的实践

Flink 流批一体的技术架构以及在阿里的实践

完整演讲 PPT 下载链接

https://qcon.infoq.cn/2019/beijing/schedule

评论

发布