写点什么

Flink 流批一体的技术架构以及在阿里的实践

  • 2019-08-03
  • 本文字数:619 字

    阅读完需:约 2 分钟

Flink 流批一体的技术架构以及在阿里的实践

在 QCon 北京 2019 大会上,杨克特(鲁尼)讲师做了《Flink 流批一体的技术架构以及在阿里的实践》主题演讲,主要内容如下。


演讲简介


Apache Flink 在诞生之初就确立了使用同一个引擎支持多种计算形态的目标,包括流计算,批处理和机器学习等等。阿里巴巴在选择 Flink 作为新一代大数据引擎时也坚定不移的在贯彻这一目标。在我们的内部版本 Blink 中,我们使用了 SQL 作为流批一体的统一入口,并且在流计算和批处理上都做了大量的优化。流批一体也开始真正的发挥出了价值,在我们的搜索离线数据处理和机器学习平台上均获得了较好的效果。本演讲将分享 Blink 针对流批一体化的场景做了哪些优化,在支持实际业务上碰到了哪些问题,我们又是怎么解决的。

听众受益

  1. 了解 Flink SQL 的技术栈和未来的方向;

  2. 流批一体化如何在业务中产生实际价值;

  3. 流批一体化面临的业务挑战和我们是如何解决的。


讲师介绍


杨克特(鲁尼)


阿里巴巴 高级技术专家


杨克特,阿里花名“鲁尼”,高级技术专家,2011 年于浙江大学硕士毕业。在加入阿里巴巴后,先是从事搜索引擎相关系统的开发,包括搜索引擎后台,新索引的设计和优化,以及调度系统的设计和研发。在转入大数据相关领域后,先后负责过基于 HBase 的实时增量系统,基于 Druid 的 OLAP 分析系统以及 Blink SQL 的优化和开发。在开源领域,杨克特是 Apache Flink 的 Committer,同时也是 Apache Druid (incubating)的 Committer。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/beijing/schedule


2019-08-03 08:007060

评论

发布
暂无评论
发现更多内容

市值管理机器人特点简析,交易所刷交易量机器人搭建

量化系统19942438797

市值机器人 市值管理

成为优秀架构师需要具备哪些能力?

卢卡多多

架构师 服务 9月日更

Rust从0到1-完结

rust

26岁!月薪38k,全靠这份GitHub百万下载的阿里P5-P9知识核心手册

Java~~~

Java 架构 面试 微服务 多线程

分布式任务调度的应用分享 | StartDT Tech Lab 13

奇点云

浅谈元数据采集 | StartDT Tech Lab 10

奇点云

TCP传输控制协议(二)

姬翔

9月日更

一个不起眼却非常实用的功能介绍

ThingJS数字孪生引擎

大前端 物联网 可视化 数字孪生

性能优化之分页查询 | StartDT Tech Lab 12

奇点云

DataMaleon组件化开发实践 | StartDT Tech Lab 14

奇点云

模型工厂,让AI算法触手可达 | StartDT Tech Lab 05

奇点云

打爆怪兽 一起来养猪 养蜂人 幸福饭店 山海经 弹球 旅行世界

游戏开发_软件开发

吃透HTTP原理,教你建立安全的HTTPS网站

博文视点Broadview

分享 | RadonDB 的开源之路(4 千字长文)

RadonDB

MySQL 数据库 RadonDB

浅谈对象体系 | StartDT Tech Lab 07

奇点云

灰度再度增持!!!Filecoin可投资吗?Filecoin值得投资吗?

区块链 分布式存储 IPFS 投资filecoin filecoin值得投资吗

狂刷《Java权威面试指南(阿里版)》,冲击“金九银十”有望了

Java 编程 架构 面试 程序人生

GitOps系列|云原生时代,你还不懂GitOps?

极狐GitLab

security CI/CD gitops

写了一年golang,来聊聊进程、线程与协程

捉虫大师

线程 进程 协程 Go 语言

数据仓库领域常见建模方法及实例演示 | StartDT Tech Lab 16

奇点云

开源贡献分享:从网关内服务健康检查说起 | StartDT Tech Lab 09

奇点云

为什么在 Windows 下用 Ctrl+Z 退出 Python 而 Linux 下用 Ctrl+D 呢?

小拍Piper

Python Linux windows

量化交易系统软件开发(源码)

Geek_23f0c3

量化交易机器人系统开发 量化策略 智能量化交易软件

TLS协议分析 (九) 现代加密通信协议设计

OpenIM

大数据安全验证之Kerberos | StartDT Tech Lab 11

奇点云

基于OLT(实体、关系、标签)建模方法论的最佳实践 | StartDT Tech Lab 08

奇点云

实用?HUAWEI高工总结出15W字的图解计算机操作系统指南手册

Java~~~

Java 架构 面试 TCP 网络协议

清华大牛带领20位大厂专家耗时三年整理出这份2000页Java进阶指南

Java~~~

Java 架构 面试 微服务 多线程

浅谈单点登录SSO实现方案 | StartDT Tech Lab 06

奇点云

操作系统的IO模型

Java 程序员 架构 操作系统 计算机

如何优雅地设计DWS层? | StartDT Tech Lab 17

奇点云

Flink 流批一体的技术架构以及在阿里的实践_数据库_杨克特(鲁尼)_InfoQ精选文章