写点什么

Flink 流批一体的技术架构以及在阿里的实践

  • 2019-08-03
  • 本文字数:619 字

    阅读完需:约 2 分钟

Flink 流批一体的技术架构以及在阿里的实践

在 QCon 北京 2019 大会上,杨克特(鲁尼)讲师做了《Flink 流批一体的技术架构以及在阿里的实践》主题演讲,主要内容如下。


演讲简介


Apache Flink 在诞生之初就确立了使用同一个引擎支持多种计算形态的目标,包括流计算,批处理和机器学习等等。阿里巴巴在选择 Flink 作为新一代大数据引擎时也坚定不移的在贯彻这一目标。在我们的内部版本 Blink 中,我们使用了 SQL 作为流批一体的统一入口,并且在流计算和批处理上都做了大量的优化。流批一体也开始真正的发挥出了价值,在我们的搜索离线数据处理和机器学习平台上均获得了较好的效果。本演讲将分享 Blink 针对流批一体化的场景做了哪些优化,在支持实际业务上碰到了哪些问题,我们又是怎么解决的。

听众受益

  1. 了解 Flink SQL 的技术栈和未来的方向;

  2. 流批一体化如何在业务中产生实际价值;

  3. 流批一体化面临的业务挑战和我们是如何解决的。


讲师介绍


杨克特(鲁尼)


阿里巴巴 高级技术专家


杨克特,阿里花名“鲁尼”,高级技术专家,2011 年于浙江大学硕士毕业。在加入阿里巴巴后,先是从事搜索引擎相关系统的开发,包括搜索引擎后台,新索引的设计和优化,以及调度系统的设计和研发。在转入大数据相关领域后,先后负责过基于 HBase 的实时增量系统,基于 Druid 的 OLAP 分析系统以及 Blink SQL 的优化和开发。在开源领域,杨克特是 Apache Flink 的 Committer,同时也是 Apache Druid (incubating)的 Committer。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/beijing/schedule


2019-08-03 08:006840

评论

发布
暂无评论
发现更多内容

从 Hadoop 到云原生:Kyligence 在云原生巨浪中的思考

Kyligence

数据仓库 云原生 Kyligence 存储计算分离

不用 Python/R ,只会 SQL 就可以做机器学习?

Kyligence

极客-架构训练营模块1作业

谭谭

架构 架构实战营

云原生时代,企业如何智能管理数据?

Kyligence

做一朵「透明可信」的云,火山引擎是如何保障企业数据和隐私的?

ToB行业头条

给弟弟的信第6封|大学生活攻略

大菠萝

28天写作

大数据开发之zookeeper的数据与存储

@零度

大数据 zookeeper

react源码解析19.手写迷你版react

buchila11

React React Hooks

预计算 or 数据虚拟化,你 pick 谁?

Kyligence

node.js安装及环境配置超详细教程【Windows系统安装包方式】

明金同学

node.js npm Node 软件安装

低代码实现探索(六)复杂业务的去处事件码

零道云-混合式低代码平台

云脑启智 院士压轴 | 2021新一代人工智能院士高峰论坛暨OpenI/O启智开发者大会即将开幕

OpenI启智社区

人工智能 开源社区 院士峰会 启智开发者大会 鹏城云脑

前端开发JS框架之Zepto与jQuery的异同

@零度

jquery 大前端 zepto

生产队灯火通明 | 尚硅谷Maxwell视频教程发布

编程江湖

大数据 Maxwell

恒源云(GPUSHARE)_语音识别与语义处理领域之NAG优化器

恒源云

深度学习 语音识别

极客实战营-模块一作业

众森焱

宝德牵手英特尔,共同成就教育美好

江湖老铁

如何快速搭建统一数据服务,让数据资源成为数据资产

Kyligence

低代码是如何帮助500强企业解决数字化转型“边角料”问题的?

优秀

低代码 数字化转型

华为云首席架构师顾炯炯:敢为人先,探索架构创新之路如何走

华为云开发者联盟

架构 架构师 公有云 华为云 云服务API

我好像发现了一个Go的Bug

捉虫大师

Go benchmark

BI + AI:洞见数据和分析的未来

Kyligence

共襄信创产业生态建设之力|DataPipeline加入北京信创工委会!

DataPipeline数见科技

数据库 中间件 信创 数据融合

react源码解析20.总结&第一章的面试题解答

buchila11

React react源码

大数据+云:Kylin/Spark/Clickhouse/Hudi 的大佬们怎么看?

Kyligence

现代分布式架构设计原则-分布式

余先生

分布式 复制 一致性 共识算法 分区

通往数据分析平民化的成功之路

Kyligence

kylin 数据分析师 Kyligence

辅导孩子写作业,如何才能做到心平气和?

Tiger

28天写作

HashMap有几种遍历方法?推荐使用哪种?

王磊

通过 nginx 日志做监控

Arch

配置灰度管理

鲸品堂

配置 灰度发布

Flink 流批一体的技术架构以及在阿里的实践_数据库_杨克特(鲁尼)_InfoQ精选文章