写点什么

腾讯实时流计算平台演进之路

  • 2019-08-06
  • 本文字数:696 字

    阅读完需:约 2 分钟

腾讯实时流计算平台演进之路

QCon北京2019大会上,杨华讲师做了《腾讯实时流计算平台演进之路》主题演讲,主要内容如下。


演讲简介


腾讯实时计算团队为业务部门提供高效、稳定和易用的实时数据服务。其每秒接入的数据峰值达到了 2.1 亿条,每天接入的数据量达到了 17 万亿条,每天的数据增长量达到了 3PB,每天需要进行的实时计算量达到了 20 万亿次。


随着业务规模不断扩大,业务需求不断增多,原先基于 Storm 构建的实时计算平台遇到了很多问题。在此背景下,我们选择用 Flink 替换 Storm 作为新一代的实时流计算引擎,我们对社区版的 Flink 进行了深度的优化,并在此之上构建了一个集开发、测试、部署和运维于一体的一站式可视化实时计算平台——Oceanus;同时,我们也基于 Oceanus 向云端客户提供了流计算服务——Stream Compute Service,应用到电商、游戏、互联网金融等泛互联网企业客户。本分享我们会介绍腾讯流计算技术的演进过程,产品化及云端对外服务进展。

听众受益

  1. 为什么要实时计算引擎从 Storm 替换成 Flink;

  2. 我们在使用社区版的 Flink 时遇到了哪些问题,做了哪些改进与增强;

  3. 腾讯实时计算平台提供了哪些功能特性来简化用户构建流计算应用复杂度;

  4. 腾讯实时计算平台后续的功能、特性预览。


讲师介绍


杨华


腾讯 大数据高级工程师


杨华(vinoyang)腾讯大数据高级工程师,参与腾讯实时流计算平台 Oceanus 底层 Flink 引擎的研发与维护,经历了 Flink 在腾讯从零开始落地到目前支撑日均近 20 万亿消息处理规模的全过程。拥有多年的分布式、大数据系统研发经验,Flink 国内较早的布道者之一,也是 Flink 及多个 Apache 项目的长期活跃贡献者。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/beijing/schedule


2019-08-06 08:001580

评论

发布
暂无评论
发现更多内容

现在企业开发哪种APP有前景?

源字节1号

微信小程序 软件开发 前端开发 后端开发

怒肝 JavaScript 数据结构 — 双端队列篇

杨成功

数据结构 4月月更

未来几年如何把握住音视频开发的大浪潮,音视频高级开发工程师培养计划

赖猫

音视频 编程开发 音视频开发

关于缓存更新的一些可借鉴套路

架构精进之路

缓存 4月日更 4月月更

做 App 还是小程序好?

InfoQ IT百科

架构实战营作业三

热猫

DAO社区的胜利,Tiger DAO VC胜在治理与共识

西柚子

怒肝 JavaScript 数据结构 — 队列篇

杨成功

数据结构 4月月更

软件激活码是什么?

InfoQ IT百科

安卓App和鸿蒙App有什么不同?

InfoQ IT百科

在线CSV转XML/JSON工具

入门小站

工具

模块三-学生系统详细架构设计

ASCE

低代码开发平台能开发哪些应用?

InfoQ IT百科

在线YAML转HTML工具

入门小站

工具

不要把公司对你的要求作为目标

张泽豪

职场 观点

云原生新时代弄潮儿k8s凭什么在容器化方面独树一帜?

囧么肥事

Kubernetes 容器 k8s 容器服务 Kubernetes 集群

外包学生管理系统--架构详细设计方案

凯博无线

残酷春天里的中国科技(四):跨越地方保护主义

脑极体

浅析分布式系统之体系结构 技术基本目标----一致性(单对象、单操作)

snlfsnef

分布式 系统设计 基本原则 一致性 设计思想

利用 Dio 完成数据更新的 Patch 请求

岛上码农

flutter 安卓开发 4月月更 跨平台开发 ios 开发

【漏洞分析】jdk9+Spring及其衍生框架

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 漏洞挖掘

极致体验,揭秘抖音背后的音视频技术

火山引擎边缘云

音视频 边缘计算 音视频技术

基于DDD思想的技术架构战略调整

Qunar技术沙龙

DDD 构架

趁着同事玩游戏偷偷认识k8s一家子补补课

囧么肥事

Kubernetes 容器 云原生 k8s Kubernetes 集群

DAO社区的胜利,Tiger DAO VC胜在治理与共识

小哈区块

linux之fping命令

入门小站

Linux

zip格式的文件怎么打开?

InfoQ IT百科

SOFARegistry 源码|数据分片之核心-路由表 SlotTable 剖析

SOFAStack

GitHub 开源 程序员 开发者 源码解析

怒肝 JavaScript 数据结构 — 队列实战篇

杨成功

数据结构 4月月更

如何隐藏电脑上的文件?

InfoQ IT百科

appdata是什么文件夹?

InfoQ IT百科

腾讯实时流计算平台演进之路_语言 & 开发_杨华_InfoQ精选文章