写点什么

Flink 流批一体的技术架构以及在阿里的实践

  • 2019-08-03
  • 本文字数:619 字

    阅读完需:约 2 分钟

Flink 流批一体的技术架构以及在阿里的实践

在 QCon 北京 2019 大会上,杨克特(鲁尼)讲师做了《Flink 流批一体的技术架构以及在阿里的实践》主题演讲,主要内容如下。


演讲简介


Apache Flink 在诞生之初就确立了使用同一个引擎支持多种计算形态的目标,包括流计算,批处理和机器学习等等。阿里巴巴在选择 Flink 作为新一代大数据引擎时也坚定不移的在贯彻这一目标。在我们的内部版本 Blink 中,我们使用了 SQL 作为流批一体的统一入口,并且在流计算和批处理上都做了大量的优化。流批一体也开始真正的发挥出了价值,在我们的搜索离线数据处理和机器学习平台上均获得了较好的效果。本演讲将分享 Blink 针对流批一体化的场景做了哪些优化,在支持实际业务上碰到了哪些问题,我们又是怎么解决的。

听众受益

  1. 了解 Flink SQL 的技术栈和未来的方向;

  2. 流批一体化如何在业务中产生实际价值;

  3. 流批一体化面临的业务挑战和我们是如何解决的。


讲师介绍


杨克特(鲁尼)


阿里巴巴 高级技术专家


杨克特,阿里花名“鲁尼”,高级技术专家,2011 年于浙江大学硕士毕业。在加入阿里巴巴后,先是从事搜索引擎相关系统的开发,包括搜索引擎后台,新索引的设计和优化,以及调度系统的设计和研发。在转入大数据相关领域后,先后负责过基于 HBase 的实时增量系统,基于 Druid 的 OLAP 分析系统以及 Blink SQL 的优化和开发。在开源领域,杨克特是 Apache Flink 的 Committer,同时也是 Apache Druid (incubating)的 Committer。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/beijing/schedule


2019-08-03 08:006915

评论

发布
暂无评论
发现更多内容

RT-Thread记录(十四、I/O 设备模型之ADC设备)

矜辰所致

RT-Thread 8月月更 ADC

“似水无形” 的小程序化技术

Speedoooo

小程序 小程序管理平台 轻应用 快应用 小程序平台

本周四晚19:00知识赋能第七期第3课丨OpenHarmony WiFi扫描仪实现

OpenHarmony开发者

OpenHarmony

MobTech ShareSDK Android端微信分享小程序

MobTech袤博科技

微信小程序 android sdk

从实验室到用户桌面,深度解析AI 落地实践之路

云智慧AIOps社区

人工智能 机器学习 AI 算法实践 智能运维AIOps

从零到一,教你搭建「以文搜图」搜索服务(一)

Zilliz

人工智能 机器学习 深度学习

阿里云 ACK 容器服务生产级可观测体系建设实践

阿里巴巴中间件

阿里云 容器 云原生 可观测

Kruise Rollout v0.2.0 版本发布:支持 Gateway API、StatefulSet 分批发布等能力

阿里巴巴中间件

阿里云 开源 容器 云原生 OpenKruise

左邻云安全 | 全程守护,让园区安全看得见

科技怪咖

马蹄链Dapp系统开发部署技术

薇電13242772558

dapp

B站基于Iceberg+Alluxio助力湖仓一体项目落地实践

Alluxio

B站 iceberg Alluxio 湖仓一体 8月月更

KusionStack 在蚂蚁集团的探索实践 (上)

SOFAStack

开源 技术分享 蚂蚁集团 Kusion kusionstack

​Black Hat 2022 聚焦软件供应链安全

SEAL安全

网络安全 软件供应链安全

SpringBoot 整合 数据库连接池(Druid、HicariCP、C3P0等等)

SpringBoot 2 Druid 8月月更

Docker下Prometheus和Grafana三部曲之一:极速体验

程序员欣宸

Grafana Prometheus 8月月更

业务出海必答题,融云全球通信网络技术挑战破解实践

融云 RongCloud

打补丁是什么意思?如何快速对云主机批量打补丁?用什么软件?

行云管家

运维 云主机 IT运维 打补丁

将 SAP Spartacus 作为 feature module 进行 Lazy Load 延迟加载时遇到的注入错误分析

汪子熙

typescript 前端开发 angular Spartacus 8月月更

保利威荣获「年度最佳直播服务商」!引领视频直播行业创新发展

科技怪咖

打造耳聪目明的MES系统,你准备好了吗?

科技怪咖

Gitlab 中 Github import 功能存在远程代码执行漏洞

墨菲安全

计费准确率高达100%,是如何实现的?

科技怪咖

打破数字化盐碱地:传统型企业如何踏稳数字化转型第一步

科技怪咖

泰禾智能:智能改变未来,成就工业设备行业佼佼者

科技怪咖

1 分钟在 Serverless 上部署现代化 Deno Web 应用

阿里巴巴中间件

阿里云 Serverless 云原生

KubeEdge边缘计算在顺丰科技工业物联网中的实践

华为云开发者联盟

云计算 云原生 工业物联网 顺丰

这三道MySQL面试题,99%的人答不出来!

程序员小毕

Java MySQL 数据库 程序员 面试

秋招涨薪攻略!拿着GitHub标星80k的阿里性能优化笔记,把项目优化个遍

退休的汤姆

Java 阿里 社招 Java工程师 秋招

激动!开启轻量化虚拟直播时代!

IT资讯搬运工

教你使用Jupyter可视化查询语句的语法树

华为云开发者联盟

人工智能

105份墨天轮“国产化迁移”干货文档汇总(含TiDB、openGauss、上云等)

墨天轮

数据库 阿里云 TiDB 国产数据库 达梦

Flink 流批一体的技术架构以及在阿里的实践_数据库_杨克特(鲁尼)_InfoQ精选文章