腾讯实时流计算平台演进之路

在QCon北京2019大会上，杨华讲师做了《腾讯实时流计算平台演进之路》主题演讲，主要内容如下。

演讲简介：

腾讯实时计算团队为业务部门提供高效、稳定和易用的实时数据服务。其每秒接入的数据峰值达到了 2.1 亿条，每天接入的数据量达到了 17 万亿条，每天的数据增长量达到了 3PB，每天需要进行的实时计算量达到了 20 万亿次。

随着业务规模不断扩大，业务需求不断增多，原先基于 Storm 构建的实时计算平台遇到了很多问题。在此背景下，我们选择用 Flink 替换 Storm 作为新一代的实时流计算引擎，我们对社区版的 Flink 进行了深度的优化，并在此之上构建了一个集开发、测试、部署和运维于一体的一站式可视化实时计算平台——Oceanus；同时，我们也基于 Oceanus 向云端客户提供了流计算服务——Stream Compute Service，应用到电商、游戏、互联网金融等泛互联网企业客户。本分享我们会介绍腾讯流计算技术的演进过程，产品化及云端对外服务进展。

听众受益

1. 为什么要实时计算引擎从 Storm 替换成 Flink；

2. 我们在使用社区版的 Flink 时遇到了哪些问题，做了哪些改进与增强；

3. 腾讯实时计算平台提供了哪些功能特性来简化用户构建流计算应用复杂度；

4. 腾讯实时计算平台后续的功能、特性预览。

讲师介绍：

杨华

腾讯 大数据高级工程师

杨华（vinoyang）腾讯大数据高级工程师，参与腾讯实时流计算平台 Oceanus 底层 Flink 引擎的研发与维护，经历了 Flink 在腾讯从零开始落地到目前支撑日均近 20 万亿消息处理规模的全过程。拥有多年的分布式、大数据系统研发经验，Flink 国内较早的布道者之一，也是 Flink 及多个 Apache 项目的长期活跃贡献者。

完整演讲 PPT 下载链接：

https://qcon.infoq.cn/2019/beijing/schedule