写点什么

腾讯实时流计算平台演进之路

  • 2019-08-06
  • 本文字数:696 字

    阅读完需:约 2 分钟

腾讯实时流计算平台演进之路

QCon北京2019大会上,杨华讲师做了《腾讯实时流计算平台演进之路》主题演讲,主要内容如下。


演讲简介


腾讯实时计算团队为业务部门提供高效、稳定和易用的实时数据服务。其每秒接入的数据峰值达到了 2.1 亿条,每天接入的数据量达到了 17 万亿条,每天的数据增长量达到了 3PB,每天需要进行的实时计算量达到了 20 万亿次。


随着业务规模不断扩大,业务需求不断增多,原先基于 Storm 构建的实时计算平台遇到了很多问题。在此背景下,我们选择用 Flink 替换 Storm 作为新一代的实时流计算引擎,我们对社区版的 Flink 进行了深度的优化,并在此之上构建了一个集开发、测试、部署和运维于一体的一站式可视化实时计算平台——Oceanus;同时,我们也基于 Oceanus 向云端客户提供了流计算服务——Stream Compute Service,应用到电商、游戏、互联网金融等泛互联网企业客户。本分享我们会介绍腾讯流计算技术的演进过程,产品化及云端对外服务进展。

听众受益

  1. 为什么要实时计算引擎从 Storm 替换成 Flink;

  2. 我们在使用社区版的 Flink 时遇到了哪些问题,做了哪些改进与增强;

  3. 腾讯实时计算平台提供了哪些功能特性来简化用户构建流计算应用复杂度;

  4. 腾讯实时计算平台后续的功能、特性预览。


讲师介绍


杨华


腾讯 大数据高级工程师


杨华(vinoyang)腾讯大数据高级工程师,参与腾讯实时流计算平台 Oceanus 底层 Flink 引擎的研发与维护,经历了 Flink 在腾讯从零开始落地到目前支撑日均近 20 万亿消息处理规模的全过程。拥有多年的分布式、大数据系统研发经验,Flink 国内较早的布道者之一,也是 Flink 及多个 Apache 项目的长期活跃贡献者。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/beijing/schedule


2019-08-06 08:001620

评论

发布
暂无评论
发现更多内容

NFT质押挖矿游戏系统开发

薇電13242772558

NFT

Databend Cloud 如何助力 AIGC 初创公司成本下降百倍

Databend

亚马逊云 Lightsail:初创公司的福音

天黑黑

云服务器 亚马逊云 VPS

基于亚马逊云服务器+Grafana Loki日志采集方案部署

wangkx

Grafana Loki 亚马逊云 亚马逊云科技 AWS EC2

Linux centos 安装docker

javaNice

Java Docker Linux

Linux centos 安装nodejs完整教程 详细到不能再详细了

javaNice

Java Linux nodejs

【云栖2023】林伟:大数据AI一体化的解读

阿里云大数据AI技术

大数据 AI

十月份 NFT 市场显示复苏迹象,等待进一步的积极发展

Footprint Analytics

区块链游戏 NFT

如何 Get 字节跳动同款云原生大数据平台

字节跳动云原生计算

大数据 云原生

风口过后,该重新关注软件内在质量了

neverwinter

程序员 互联网 软件工程 软件质量 软件研发

植根中国 服务中国 英特尔拥抱AI 加速AI PC落地

E科讯

人工智能:何谓技术

不在线第一只蜗牛

人工智能 AI 人工智能技术

大咖专场 | KaiwuDB 多模数据库 - 时序性能优化方案

KaiwuDB

KaiwuDB 大咖专场 数据库性能优化

YashanDB发布会圆满收官,V23.1三大新品引领国产数据库技术与应用突破!

墨天轮

数据库 实时数仓 国产数据库 空间数据库 yashandb

如何使用 GTX750 或 1050 显卡安装 CUDA11+

北桥苏

PyTorch cuda cudnn

碳管理丨三思全景显示方案助力雄安打造数字化能源管理平台

电子信息发烧客

云端大模型有哪些创新使用场景?一个原型方案

魏临

头脑风暴利器!10款超实用的思维导图软件,助你脑洞大开!

彭宏豪95

思维导图 头脑风暴 在线白板 办公软件 思维导图软件

实例讲解数据库的数据去重

不在线第一只蜗牛

数据库 架构 系统架构 系统

软件测试/测试开发丨接口自动化学习笔记——响应体断言

测试人

软件测试 接口测试

腾讯实时流计算平台演进之路_语言 & 开发_杨华_InfoQ精选文章