写点什么

Flink SQL:使用标准的 ANSI SQL 驱动大数据流计算

  • 2019-09-14
  • 本文字数:956 字

    阅读完需:约 3 分钟

Flink SQL:使用标准的ANSI SQL驱动大数据流计算

ArchSummit深圳2018大会上,王绍翾(大沙)讲师做了《Flink SQL:使用标准的 ANSI SQL 驱动大数据流计算》主题演讲,主要内容如下。


演讲简介


近些年随着大数据技术的不断发展和成熟,无论是传统企业还是互联网公司都已经不再仅仅满足于批处理,对流处理的场景和需求也越来越强烈。SQL 是大数据处理中使用最广泛的语言。它允许用户简明扼要地声明他们的业务逻辑。数据分析师通常没有复杂的软件编程背景,但他们可以使用 SQL 来分析数据并为业务决策提供支持。


在流计算领域,除了 Flink 之外,其他一些流处理框架(如 Kafka 和 Spark Structure Streaming)也具有类似于 SQL 的 DSL,但它们与 Flink 的语义不同。Flink 的 SQL 完全遵循 ANSI SQL 标准,而 Spark 和 Kafka 提供的 DSL 都是非 ANSI SQL 标准的。本次分享将介绍遵循 ANSI SQL 标准的好处,以及 Flink SQL 是如何实现这一目标。阿里巴巴的核心业务现在完全由数据处理引擎 Blink 驱动,它是一款阿里巴巴实时计算部基于 Apache Flink 改进的项目。阿里内部几乎所有的 Blink 作业都是由 Flink SQL 编写的。本次分享也将介绍 Flink SQL 在阿里内部的大规模应用的场景和经验。

演讲提纲

  • 背景介绍

  • 使用 SQL 做大数据实时计算有哪些好处

  • Flink SQL 原理

  • Flink SQL 功能介绍

  • Flink SQL 在阿里的大规模应用

  • 未来展望


讲师介绍


王绍翾(大沙)


阿里巴巴 计算平台事业部高级技术专家


王绍翾,淘宝花名"大沙",加州大学圣迭戈分校计算机工程的博士,2015 年加入阿里巴巴集团,目前就职于阿里巴巴计算平台事业部。加入阿里之前,曾在 Facebook 开发分布式图关系数据库 TAO。


加入阿里之后,王绍翾一直从事阿里新一代实时计算平台 Blink 的研发工作。早期负责搜索事业部的离线大数据处理,利用半年的时间带领团队将阿里淘宝天猫的搜索离线数据处理的计算全部迁移到了 Blink 计算平台之上。之后负责 Blink 计算平台的查询和优化。用了半年多的时间,打造了一套功能完备高性能的实时计算 Flink SQL,并成功的将阿里的实时计算机器学习平台整体的迁移到这套 API 之上。阿里将 Flink SQL 的代码几乎全部推回了 Apache Flink 社区。王绍翾是 Apache flink 的 committer,除了自己,他在团队内部还培养出另外两位 apache flink committer。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 17:021064

评论

发布
暂无评论
发现更多内容

湖仓一体电商项目(十八):业务实现之编写写入DWD层业务代码

Lansonli

数据湖 湖仓一体电商项目

深度剖析 Linux 伙伴系统的设计与实现

bin的技术小屋

Linux 内存管理 Linux内核 内存分配 Linux内核源码

案例研究:让线上故障沉淀为团队的经验

石云升

极客时间 2月月更 技术领导力实战笔记

Zebec 上线投票治理机制,全新流支付生态正在起航

股市老人

从原理源码到企业级实战,腾讯大佬纯手打的Spring Boot笔记(2023版)真香

程序员小毕

spring 后端 springboot java程序员 java面试

「AVL平衡树专项」带你领略常用的AVL树与红黑树的奥秘(规则篇)

C++后台开发

数据结构 后端开发 红黑树 linux开发 C++开发

Zebec 投票治理机制上线,全新流支付生态正在起航

西柚子

D触发器 (D-FF)详解

timerring

FPGA

Java高手速成 | EL表达式语言

TiAmo

Java EL

C/C++ 通过Socket 传输结构体

lyshark

gcc属性__attribute__((naked))使用场景

SkyFire

GCC 内嵌汇编

C/C++ 页面下载与获取响应头

lyshark

C/C++ LibCurl 库实现HTTP请求

lyshark

写给go开发者的gRPC教程-protobuf基础

凉凉的知识库

golang 微服务 gRPC protobuf 微服务框架

C/C++ 静态编译SQLITE数据库API

lyshark

C/C++ 实现正反向端口映射

lyshark

C/C++ 实现FTP文件上传下载

lyshark

Zebec 上线投票治理机制,全新流支付生态正在起航

威廉META

CTO:假如Java微服务随机掉线,你会怎么排查?

Java永远的神

Java 程序员 面试 微服务 架构师

C/C++ 扫描特定进程内存状态

lyshark

C/C++ 获取自身IP与域名片段

lyshark

Zebec 上线投票治理机制,全新流支付生态正在起航

石头财经

Zebec 上线投票治理机制,全新流支付生态正在起航

鳄鱼视界

FLStudio2023水果中文版软件如何下载?

茶色酒

flstudio FLStudio21

C/C++ 实现通过FTP上传下载

lyshark

C/C++ 实现简易HTTP服务器

lyshark

有了HotSpot JVM为什么还需要OpenJ9?

骑牛上青山

Java jdk JVM 虚拟机

C/C++ 监控磁盘与目录操作

lyshark

Jackson 的 DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES

HoneyMoose

Zebec 上线投票治理机制,全新流支付生态正在起航

EOSdreamer111

2023JAVA面试题全集(超全面!超系统!超实用!)早做准备,早上岸!

架构师之道

Java 编程 程序员 计算机 java面试

Flink SQL:使用标准的ANSI SQL驱动大数据流计算_ArchSummit_王绍翾(大沙)_InfoQ精选文章