写点什么

Flink SQL:使用标准的 ANSI SQL 驱动大数据流计算

2019 年 9 月 14 日

Flink SQL:使用标准的ANSI SQL驱动大数据流计算

ArchSummit深圳2018大会上,王绍翾(大沙)讲师做了《Flink SQL:使用标准的 ANSI SQL 驱动大数据流计算》主题演讲,主要内容如下。


演讲简介


近些年随着大数据技术的不断发展和成熟,无论是传统企业还是互联网公司都已经不再仅仅满足于批处理,对流处理的场景和需求也越来越强烈。SQL 是大数据处理中使用最广泛的语言。它允许用户简明扼要地声明他们的业务逻辑。数据分析师通常没有复杂的软件编程背景,但他们可以使用 SQL 来分析数据并为业务决策提供支持。


在流计算领域,除了 Flink 之外,其他一些流处理框架(如 Kafka 和 Spark Structure Streaming)也具有类似于 SQL 的 DSL,但它们与 Flink 的语义不同。Flink 的 SQL 完全遵循 ANSI SQL 标准,而 Spark 和 Kafka 提供的 DSL 都是非 ANSI SQL 标准的。本次分享将介绍遵循 ANSI SQL 标准的好处,以及 Flink SQL 是如何实现这一目标。阿里巴巴的核心业务现在完全由数据处理引擎 Blink 驱动,它是一款阿里巴巴实时计算部基于 Apache Flink 改进的项目。阿里内部几乎所有的 Blink 作业都是由 Flink SQL 编写的。本次分享也将介绍 Flink SQL 在阿里内部的大规模应用的场景和经验。


演讲提纲

  • 背景介绍

  • 使用 SQL 做大数据实时计算有哪些好处

  • Flink SQL 原理

  • Flink SQL 功能介绍

  • Flink SQL 在阿里的大规模应用

  • 未来展望


讲师介绍


王绍翾(大沙)


阿里巴巴 计算平台事业部高级技术专家


王绍翾,淘宝花名"大沙",加州大学圣迭戈分校计算机工程的博士,2015 年加入阿里巴巴集团,目前就职于阿里巴巴计算平台事业部。加入阿里之前,曾在 Facebook 开发分布式图关系数据库 TAO。


加入阿里之后,王绍翾一直从事阿里新一代实时计算平台 Blink 的研发工作。早期负责搜索事业部的离线大数据处理,利用半年的时间带领团队将阿里淘宝天猫的搜索离线数据处理的计算全部迁移到了 Blink 计算平台之上。之后负责 Blink 计算平台的查询和优化。用了半年多的时间,打造了一套功能完备高性能的实时计算 Flink SQL,并成功的将阿里的实时计算机器学习平台整体的迁移到这套 API 之上。阿里将 Flink SQL 的代码几乎全部推回了 Apache Flink 社区。王绍翾是 Apache flink 的 committer,除了自己,他在团队内部还培养出另外两位 apache flink committer。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019 年 9 月 14 日 17:02634

评论

发布
暂无评论
发现更多内容

“IPO上市扒层皮”,以阿里巴巴为例看看公开了什么 | 如何读IPO招股书(3-a)

赵新龙

阿里巴巴 IPO 招股说明书

浅谈行业软件

孙苏勇

软件 思考 转型

曾国藩的人生“六戒”

泰稳@极客邦科技

身心健康 个人成长 心理学

二叉树先序中序后序的非递归实现

Kenn

算法

JCJC错别字检测JS接口新增CORS跨域支持

田春峰-JCJC错别字检测

怎么写出bug的

三爻

哪儿有真实靠谱的数据,说谎话必须负责的那种?| IPO招股说明书(1)

赵新龙

阿里巴巴 IPO 旷视科技 数据

程序员陪娃漫画系列——吃饭

孙苏勇

程序员 生活 程序员人生 陪伴 漫画

不知不觉,写了10000字了

小天同学

写作 个人感想 思辨

媒体的经营 03 | 很显然,媒体卖广告是最没有前途的

邓瑞恒Ryan

创业 媒体 商业模式

媒体的经营 02 | 媒体/内容行业的主要变现方式

邓瑞恒Ryan

创业 投资 商业

死磕Java并发(5):线程详解,Java开发这么久,这些线程的基础知识你确定都会了?

七哥爱编程

Java Java并发 线程

小技巧:ssh -D 让终端访问或下载快一点

LinkPwd

Linux Shell

专家的直觉和你的直觉

池建强

书摘 直觉

判断链表是否有环

Kenn

算法 链表 双指针 Brent

“IPO上市扒层皮”,以阿里巴巴为例看看公开了什么 | 如何读IPO招股书(3-b)

赵新龙

阿里巴巴 IPO 招股说明书

我们是时候降低对完全自动驾驶的期望了

赵钰莹

自动驾驶 AI

我为什么不愿在公众号发文章,却愿在写作平台发

小天同学

微信公众平台 产品 反馈 写作平台

您到底要说什么?

水色

如何避免把中台变成外包团队

松花皮蛋me

数据中台

二叉树的先序中序后序递归实现

Kenn

算法 递归

迷茫时,想想能为这个世界做些什么就好了

泰稳@极客邦科技

身心健康 个人成长 团队协作

npm version 使用详解

Leo

前端 npm 语义化 版本控制

OpenCV 在 Android 上的应用

fengzhizi715

android OpenCV 计算机视觉

如何读IPO招股说明书(2)到哪儿下载招股书?

赵新龙

IPO 上市 招股说明书

说说疫情下的新常态该怎么应对

CD826

疫情 新常态

回"疫"录(5):不见面,云拜年

小天同学

疫情 回忆录 现实纪录 纪实

人生一大误区:做到80%就不错了

池建强

个人成长 自我管理

Nginx学习

陈雷雷

nginx nginx编译 安装 PHP-FPM 和 Nginx

演讲的秘诀

伯薇

个人成长 演讲 追求极致 完美主义

对开发人员有用的定律、理论、原则和模式

松花皮蛋me

Java 设计模式

Flink SQL:使用标准的ANSI SQL驱动大数据流计算-InfoQ