写点什么

如何突破腾讯大数据分析架构瓶颈

  • 2019-09-07
  • 本文字数:711 字

    阅读完需:约 2 分钟

如何突破腾讯大数据分析架构瓶颈

QCon上海2018大会上,彭渊讲师做了《如何突破腾讯大数据分析架构瓶颈》主题演讲,主要内容如下。


演讲简介


对于腾讯庞大的大数据分析业务,几千台的 hadoop 集群近百 P 级的存储总量,每日全网 app 产生千亿的消息数据入库,需要针对几十亿 iemi 手机设备去重,并关联数百亿的历史全表,进行曝光、点击、pv、uv、日活、新增、留存等统计指标分析,当前所有业务的 ETL 清洗、统计计算、用户画像都全部依赖离线 m/r 和 hive sql,给集群造成很大压力,系统负载高任务积压重,计算耗时久业务响应慢(t+1),难以及时反馈市场信息的变化,不仅是技术上的巨大挑战,同时业务的迅速增长变化对当前技术团队的工作模式和流程也造成很大挑战。如何突破现有大数据分析架构瓶颈?本分享内容将带来腾讯大数据技术的新发展和架构实践,介绍基于自研 bitmap 技术的大数据系统“锋刃”,以及 olap 全新驱动模式的架构战略,真正做到秒级实时查看每分钟指标、全维度的用户 olap 自助分析、闭环的动态运营体系。

听众受益

  • 流处理 bitmap 的大数据实时分析架构和落地实践

  • 自研 bitmap 引擎和 RoaringBitmap 的对比优势

  • 腾讯灯塔业务场景实施

  • 腾讯天玑业务场景实施

  • 腾讯浏览器 ABtest 业务场景实施

  • 海量大数据的 rolap 和 molap 架构实践


讲师介绍


彭渊


腾讯 T4 专家 资深架构师


彭渊,现任腾讯 T4 专家,历任阿里资深专家,华为中间件首席架构师,淘宝高级专家等。在中国 IT 互联网技术领域从业多年,曾撰写多款开源软件,代表作有 Fourinone(四不像)分布式核心技术框架、CoolHash 并行数据库引擎等,曾出版书籍《大规模分布式系统架构与设计实战》,拥有多项软件著作权和专利。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-09-07 07:443306

评论

发布
暂无评论
发现更多内容

元宇宙对网络技术的挑战,什么样的网络才能承载元宇宙的野心?

CECBC

28 K8S之控制器基础

穿过生命散发芬芳

k8s 11月日更

phpstudy开启Apache服务显示80端口被占用

咿呀呀

PHPStudy

应对 Job 场景,Serverless 如何帮助企业便捷上云

阿里巴巴云原生

阿里云 Serverless 云原生 函数 Job

架构实战营模块五作业

孙志强

架构实战营

DevOps反模式

俞凡

DevOps

如何设计业务高性能高可用计算架构

天天向上

架构实战营

linux比较两个目录的差异

入门小站

Linux

微博评论架构分析

🌾🌾🌾小麦🌾🌾🌾

架构实战营

KubeMeet 深圳站回顾:应对云原生边缘计算落地挑战

阿里巴巴云原生

阿里云 Kubernetes 云原生 线下活动

如何利用 “集群流控” 保障微服务的稳定性?

阿里巴巴云原生

阿里云 高可用 云原生 集群 AHAS

《重学Java高并发》Sempahore的使用场景与常见误区

中间件兴趣圈

Java高并发 Sempahore

领导力学习课-总结

李印

个人成长 管理

【架构实战营】模块五作业

liu🍊

阿里云 Serverless 助力企业全面拥抱云原生

阿里巴巴云原生

阿里云 Serverless 云原生 企业

为什么SOLID原则仍然是现代软件架构的基石

topsion

CleanCode SOLID

1 分钟 Serverless 极速抽盲盒,自己部署自己抽!

阿里巴巴云原生

阿里云 Serverless 云原生

大厂算法面试之leetcode精讲9.位运算

全栈潇晨

算法 LeetCode

云原生体系下 Serverless 弹性探索与实践

阿里巴巴云原生

阿里云 Serverless 云原生 弹性 SAE

哈佛商业评论:面向未来的组织

石云升

读书笔记 11月日更

在线文本差集计算工具

入门小站

工具

微博评论架构设计

天天向上

架构实战营

[Pulsar] Batch Messge的基本原理

Zike Yang

Apache Pulsar 11月日更

没有一个人喜欢被改变 ——阅读《高绩效教练》有感

研发管理Jojo

倾听 敏捷教练 引导和教练

瞰见 | 刚刚,暴涨的 GitLab 给我们带来了怎样的开源思考?

OpenTEKr

狄安瞰源

架构训练营 - 模块 5 作业

焦龙

架构训练营

Flink 实践教程-入门(8): 简单 ETL 作业

腾讯云大数据

flink 流计算 Oceanus

入驻快讯|欢迎AfterShip正式入驻 InfoQ 写作平台!

InfoQ写作社区官方

入驻快讯

16张图解锁Spring的整体脉络

4ye

Java spring 程序员 后端 签约计划第二季

技术管理知识写作系列

Melody

写作计划

大厂算法面试之leetcode精讲10.递归&分治

全栈潇晨

LeetCode 算法面试

如何突破腾讯大数据分析架构瓶颈_QCon_彭渊_InfoQ精选文章