2天时间,聊今年最热的 Agent、上下文工程、AI 产品创新等话题。2025 年最后一场~ 了解详情
写点什么

腾讯实时流计算平台演进之路

  • 2019-08-06
  • 本文字数:696 字

    阅读完需:约 2 分钟

腾讯实时流计算平台演进之路

QCon北京2019大会上,杨华讲师做了《腾讯实时流计算平台演进之路》主题演讲,主要内容如下。


演讲简介


腾讯实时计算团队为业务部门提供高效、稳定和易用的实时数据服务。其每秒接入的数据峰值达到了 2.1 亿条,每天接入的数据量达到了 17 万亿条,每天的数据增长量达到了 3PB,每天需要进行的实时计算量达到了 20 万亿次。


随着业务规模不断扩大,业务需求不断增多,原先基于 Storm 构建的实时计算平台遇到了很多问题。在此背景下,我们选择用 Flink 替换 Storm 作为新一代的实时流计算引擎,我们对社区版的 Flink 进行了深度的优化,并在此之上构建了一个集开发、测试、部署和运维于一体的一站式可视化实时计算平台——Oceanus;同时,我们也基于 Oceanus 向云端客户提供了流计算服务——Stream Compute Service,应用到电商、游戏、互联网金融等泛互联网企业客户。本分享我们会介绍腾讯流计算技术的演进过程,产品化及云端对外服务进展。

听众受益

  1. 为什么要实时计算引擎从 Storm 替换成 Flink;

  2. 我们在使用社区版的 Flink 时遇到了哪些问题,做了哪些改进与增强;

  3. 腾讯实时计算平台提供了哪些功能特性来简化用户构建流计算应用复杂度;

  4. 腾讯实时计算平台后续的功能、特性预览。


讲师介绍


杨华


腾讯 大数据高级工程师


杨华(vinoyang)腾讯大数据高级工程师,参与腾讯实时流计算平台 Oceanus 底层 Flink 引擎的研发与维护,经历了 Flink 在腾讯从零开始落地到目前支撑日均近 20 万亿消息处理规模的全过程。拥有多年的分布式、大数据系统研发经验,Flink 国内较早的布道者之一,也是 Flink 及多个 Apache 项目的长期活跃贡献者。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/beijing/schedule


2019-08-06 08:001638

评论

发布
暂无评论
发现更多内容

波特五力模型

石云升

创业 战略 职场经验 5月日更

中国数字货币释放利好消息!

CECBC

人工智能--野人过河

空城机

Java 算法 5月日更 大学笔记

分布式锁

邱学喆

分布式锁 redis分布式锁 zookeeper分布式锁

后台开发:核心技术与应用实践 — C++

奔着腾讯去

c++ 面向对象 服务器开发 C++后台开发

工业互联网平台赋能需充分挖掘数据价值

关于爱情的碎碎念

穿过生命散发芬芳

520单身福利

Docker 入门

飞跃

可以学习一下安全方面的知识

escray

学习 极客时间 安全 5月日更 安全攻防技能30讲

活性炭能去甲醛吗?

小天同学

科普 5月日更 活性炭

智慧公安微警务APP搭建,公安信息化建设

Docker 镜像和容器

飞跃

Docker 520 单身福利

华仔训练营模块4作业

方堃

打破固有思维(十六)

Changing Lin

5月日更

“产学合作,协同育人”——安谋中国集成电路人才发展趋势沙龙圆满举行

脑极体

5分钟速读之Rust权威指南(七)

wzx

rust

显示器的未知之海:从电脑窗口到数字世界的Mate级探险

脑极体

翻译:谁将在AI中赚钱?by Simon Greenman John 易筋 ARTS 打卡 Week 48

John(易筋)

ARTS 打卡计划

Node.js使用数据库LevelDB:超高性能kv存储引擎

devpoint

nodejs leveldb

521的祝福-北爱的回忆

数据一哥

520单身福利 520 单身福利

C#常用特性和快捷键

fox

520单身福利

520有感而发

yu

520 单身福利

Mac电脑:安装cnpm(补充步骤)

三掌柜

5月日更

未来每个人的生活可能都会离不开区块链

CECBC

数据仓库如何确定主题域?

数据社

数据仓库 5月日更

架构学习笔记:架构设计3原则

风翱

架构 5月日更

Flink的分布式缓存

大数据技术指南

flink 5月日更

内卷是必然

ES_her0

5月日更

学习笔记之:05 | 数组:一秒钟,定义 1000 个变量

Nydia

学习

区块链专家与媒体面对面 | “区块链让数据产生价值”

CECBC

多线程 VS 多进程(三)

若尘

多线程 Python编程 5月日更

腾讯实时流计算平台演进之路_语言 & 开发_杨华_InfoQ精选文章