10 月 23 - 25 日,QCon 上海站即将召开,现在大会已开始正式报名,可以享受 8 折优惠 了解详情
写点什么

腾讯实时流计算平台演进之路

  • 2019-08-06
  • 本文字数:696 字

    阅读完需:约 2 分钟

腾讯实时流计算平台演进之路

QCon北京2019大会上,杨华讲师做了《腾讯实时流计算平台演进之路》主题演讲,主要内容如下。


演讲简介


腾讯实时计算团队为业务部门提供高效、稳定和易用的实时数据服务。其每秒接入的数据峰值达到了 2.1 亿条,每天接入的数据量达到了 17 万亿条,每天的数据增长量达到了 3PB,每天需要进行的实时计算量达到了 20 万亿次。


随着业务规模不断扩大,业务需求不断增多,原先基于 Storm 构建的实时计算平台遇到了很多问题。在此背景下,我们选择用 Flink 替换 Storm 作为新一代的实时流计算引擎,我们对社区版的 Flink 进行了深度的优化,并在此之上构建了一个集开发、测试、部署和运维于一体的一站式可视化实时计算平台——Oceanus;同时,我们也基于 Oceanus 向云端客户提供了流计算服务——Stream Compute Service,应用到电商、游戏、互联网金融等泛互联网企业客户。本分享我们会介绍腾讯流计算技术的演进过程,产品化及云端对外服务进展。

听众受益

  1. 为什么要实时计算引擎从 Storm 替换成 Flink;

  2. 我们在使用社区版的 Flink 时遇到了哪些问题,做了哪些改进与增强;

  3. 腾讯实时计算平台提供了哪些功能特性来简化用户构建流计算应用复杂度;

  4. 腾讯实时计算平台后续的功能、特性预览。


讲师介绍


杨华


腾讯 大数据高级工程师


杨华(vinoyang)腾讯大数据高级工程师,参与腾讯实时流计算平台 Oceanus 底层 Flink 引擎的研发与维护,经历了 Flink 在腾讯从零开始落地到目前支撑日均近 20 万亿消息处理规模的全过程。拥有多年的分布式、大数据系统研发经验,Flink 国内较早的布道者之一,也是 Flink 及多个 Apache 项目的长期活跃贡献者。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/beijing/schedule


2019-08-06 08:001600

评论

发布
暂无评论
发现更多内容

架构训练营 - 模块三作业

伊静西蒙

用EasyRecovery恢复手残误删的文件

淋雨

EasyRecovery

Dubbo 框架学习笔记十七

风翱

dubbo 12月日更

实现一键部署与高效集群管理,SphereEx-Boot 正式上线

SphereEx

开源 开源社区 SphereEx ShadingSphere 一键安装

一文带你了解数据库安全基础

坚果

数据库 28天写作 12月日更

谈谈Golang的同步等待组

恒生LIGHT云社区

golang Go 语言

用300行代码手写1个Spring框架,麻雀虽小五脏俱全

Tom弹架构

Java spring 源码

三位一体,网易智企的融合与进击

ToB行业头条

Kubernetes常见组件

Rayzh

Docker Kubernetes 云原生

基于DataX的数据同步(下)-应用DataX进行数据同步

恒生LIGHT云社区

数据库 数据同步 DataX

腾讯云容器安全获得云安全守卫者计划优秀案例

腾讯安全云鼎实验室

容器安全

年底考勤管理汇总难?织信OA管理系统无缝对接外部应用助你解决

优秀

低代码 考勤管理 OA管理系统

模块八作业

panxiaochun

架构实战营

揭秘字节跳动基于Hudi的实时数据湖平台

字节跳动数据平台

大数据 实时数据湖

恒源云(GPUSHARE)_云GPU服务器如何使用SpaCy?

恒源云

gpu 服务器 自然语言

整理了一些JPA常用注解

yombo

Java Spring JPA

爆肝30天,肝出来史上最透彻Spring原理和27道高频面试题总结

Tom弹架构

Java spring 源码

千万级日志回放引擎设计稿

FunTester

性能测试 测试框架 FunTester 流量回放 GOREPLAY

人工智能(NLP)|社交网络中的网络表示学习技术研究

索信达控股

人工智能 算法 网络结构

使用Docker Configs存储配置信息

yombo

Docker Docker Swarm

域名基本信息查询小技巧

喀拉峻

网络安全 安全 信息安全

社区原生的 Go Agent 即将开源

火线安全

DevSecOps IAST

30个类手写Spring核心原理之自定义ORM(下)(7)

Tom弹架构

Java spring 源码

2022 年你必须知道的 Serverless 云产品

开源之巅

Serverless 云开发

How old are you | 尚硅谷大数据之Canal视频教程

编程江湖

大数据 canal

一次完整的渗透测试&仅供学习研究

H

黑客 网络安全 渗透测试·

seata分布式事务AT模式介绍(二)

恒生LIGHT云社区

分布式 分布式事务 seata

网易有道项目实践技术分享合集

有道技术团队

技术分享 网易有道 技术专题合集

基于Gradle的Spring源码下载及构建技巧

Tom弹架构

Java spring 源码

Apsara Stack 技术百科|标准化的云时代:一云多芯

云计算 芯片 科技 混合云

接口文档自动更改?百度程序员开发效率MAX的秘诀

百度Geek说

百度 前端 工具 后端 软件开发

腾讯实时流计算平台演进之路_语言 & 开发_杨华_InfoQ精选文章