写点什么

腾讯实时流计算平台演进之路

  • 2019-08-06
  • 本文字数:696 字

    阅读完需:约 2 分钟

腾讯实时流计算平台演进之路

QCon北京2019大会上,杨华讲师做了《腾讯实时流计算平台演进之路》主题演讲,主要内容如下。


演讲简介


腾讯实时计算团队为业务部门提供高效、稳定和易用的实时数据服务。其每秒接入的数据峰值达到了 2.1 亿条,每天接入的数据量达到了 17 万亿条,每天的数据增长量达到了 3PB,每天需要进行的实时计算量达到了 20 万亿次。


随着业务规模不断扩大,业务需求不断增多,原先基于 Storm 构建的实时计算平台遇到了很多问题。在此背景下,我们选择用 Flink 替换 Storm 作为新一代的实时流计算引擎,我们对社区版的 Flink 进行了深度的优化,并在此之上构建了一个集开发、测试、部署和运维于一体的一站式可视化实时计算平台——Oceanus;同时,我们也基于 Oceanus 向云端客户提供了流计算服务——Stream Compute Service,应用到电商、游戏、互联网金融等泛互联网企业客户。本分享我们会介绍腾讯流计算技术的演进过程,产品化及云端对外服务进展。

听众受益

  1. 为什么要实时计算引擎从 Storm 替换成 Flink;

  2. 我们在使用社区版的 Flink 时遇到了哪些问题,做了哪些改进与增强;

  3. 腾讯实时计算平台提供了哪些功能特性来简化用户构建流计算应用复杂度;

  4. 腾讯实时计算平台后续的功能、特性预览。


讲师介绍


杨华


腾讯 大数据高级工程师


杨华(vinoyang)腾讯大数据高级工程师,参与腾讯实时流计算平台 Oceanus 底层 Flink 引擎的研发与维护,经历了 Flink 在腾讯从零开始落地到目前支撑日均近 20 万亿消息处理规模的全过程。拥有多年的分布式、大数据系统研发经验,Flink 国内较早的布道者之一,也是 Flink 及多个 Apache 项目的长期活跃贡献者。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/beijing/schedule


2019-08-06 08:001576

评论

发布
暂无评论
发现更多内容

智能监控:超越传统阈值的监控

可观测技术

智能监控

实时洞察,精准掌控:观测云在企业监控中的核心优势

可观测技术

监控

商品计划管理系统助力企业实现高效决策与资源配置

第七在线

实际上手体验maven面对冲突Jar包的加载规则

京东科技开发者

并发性能提升 4 倍!云帐房用 Serverless 轻松应对瞬时业务洪峰

阿里巴巴云原生

阿里云 Serverless 云原生

Pushgateway:观测云中的实时数据监控解决方案

可观测技术

云原生

苹果电脑防火墙Radio Silence for mac v3.2激活版 附安装教程

Rose

苹果电脑 mac防火墙 Radio Silence下载 Radio Silence破解版

观测云:开放透明与知识共享的引领者

可观测技术

文档 开放生态

如何在 K8s 中实现 Pod 原地更新?

小猿姐

数据库 云计算 Kubernetes 云原生

课件ppt怎么做?3个在线网站轻松制作教学ppt!

职场工具箱

效率 职场 PPT 办公软件 AI生成PPT

无缝集成,全域监控:观测云引领企业运维新纪元

可观测技术

运维

如何构建高效的 CRUD 应用程序?

NocoBase

软件开发 crud crudapi

苹果电脑装机必备防休眠工具:InsomniaX for Mac中文版

Rose

MacBook防睡眠软件 InsomniaX for Mac

京东小程序数据中心架构设计与最佳实践

京东科技开发者

AI入门之深度学习:基本概念篇

京东科技开发者

Waves 混音插件 完美破解版 for mac/win 安装包

Rose

Waves 混音插件 Waves破解版

pdf reader pro mac破解版 v3.2.1.0中文激活版 好用的pdf编辑阅读器

Rose

简析网络安全中的伦理困境与道德守则

我再BUG界嘎嘎乱杀

黑客 网络安全 信息安全 WEB安全 网安

怎么用云手机进行TikTok矩阵运营

Ogcloud

云手机 海外云手机 tiktok云手机 云手机海外版 tiktok矩阵

macOS Big Sur(macos11 正式版)v11.2.3 高速下载版

Rose

AE 2019中文版 after effects破解资源 mac/win

Rose

AE 2019中文版 AE 2019 mac破解版 AE2019安装包 After Effects安装教程

7月新特性 | 软件开发生产线CodeArts发布多项新特性等你体验!

华为云开发者联盟

测试计划 代码检查 企业号 8 月 PK 榜 CodeArts 2024企业号8月pk

OmniGraffle Pro mac破解版(流程图、组织结构图、网络拓扑图、电路图等)

Rose

思维导图 流程图 OmniGraffle Pro破解 OmniGraffle Pro下载

Luminar Neo:不只是修图,更是创意的孵化器

Rose

AI在商品计划领域的应用

第七在线

动态之美:Motion 5特效,让视频栩栩如生 mac版

Rose

mac视频后期特效处理 Motion 5破解版 Motion中文版

跨越边界:京东商品详情API的全球拓展之旅

代码忍者

拼多多API接口:通过商品ID获取拼多多商品详情数据接口

tbapi

拼多多商品详情接口 拼多多API 拼多多商品数据采集

腾讯实时流计算平台演进之路_语言 & 开发_杨华_InfoQ精选文章