写点什么

如何突破腾讯大数据分析架构瓶颈

  • 2019-09-07
  • 本文字数:711 字

    阅读完需:约 2 分钟

如何突破腾讯大数据分析架构瓶颈

QCon上海2018大会上,彭渊讲师做了《如何突破腾讯大数据分析架构瓶颈》主题演讲,主要内容如下。


演讲简介


对于腾讯庞大的大数据分析业务,几千台的 hadoop 集群近百 P 级的存储总量,每日全网 app 产生千亿的消息数据入库,需要针对几十亿 iemi 手机设备去重,并关联数百亿的历史全表,进行曝光、点击、pv、uv、日活、新增、留存等统计指标分析,当前所有业务的 ETL 清洗、统计计算、用户画像都全部依赖离线 m/r 和 hive sql,给集群造成很大压力,系统负载高任务积压重,计算耗时久业务响应慢(t+1),难以及时反馈市场信息的变化,不仅是技术上的巨大挑战,同时业务的迅速增长变化对当前技术团队的工作模式和流程也造成很大挑战。如何突破现有大数据分析架构瓶颈?本分享内容将带来腾讯大数据技术的新发展和架构实践,介绍基于自研 bitmap 技术的大数据系统“锋刃”,以及 olap 全新驱动模式的架构战略,真正做到秒级实时查看每分钟指标、全维度的用户 olap 自助分析、闭环的动态运营体系。

听众受益

  • 流处理 bitmap 的大数据实时分析架构和落地实践

  • 自研 bitmap 引擎和 RoaringBitmap 的对比优势

  • 腾讯灯塔业务场景实施

  • 腾讯天玑业务场景实施

  • 腾讯浏览器 ABtest 业务场景实施

  • 海量大数据的 rolap 和 molap 架构实践


讲师介绍


彭渊


腾讯 T4 专家 资深架构师


彭渊,现任腾讯 T4 专家,历任阿里资深专家,华为中间件首席架构师,淘宝高级专家等。在中国 IT 互联网技术领域从业多年,曾撰写多款开源软件,代表作有 Fourinone(四不像)分布式核心技术框架、CoolHash 并行数据库引擎等,曾出版书籍《大规模分布式系统架构与设计实战》,拥有多项软件著作权和专利。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-09-07 07:443394

评论

发布
暂无评论
发现更多内容

反向代理、负载均衡实战,【深度思考

Java 程序员 后端

只需一篇文章吃透Java多线程技术,那些BAT大厂的Java面试官到底在想些什么

Java 程序员 后端

12道Android高级面试题:android开发视频百度网盘

android 程序员 移动开发

2019-2021历年华为跳动Android面试真题解析,面经解析

android 程序员 移动开发

厉害了,java入门电子书百度网盘下载,Java中高级面试

Java 程序员 后端

只用了几百行代码写的百度搜索引擎,程序员Javaweb源码

Java 程序员 后端

人力资源管理系统和oa的区别?

优秀

低代码

使用 Spring Boot 进行单元测试

码语者

Java Spring Boot Unit Test

10天用Flutter撸了个高仿携程App,2021年Android面试心得

android 程序员 移动开发

原来SqlSession只是个甩手掌柜,Redis有几种数据类型

Java 程序员 后端

1307页阿里Android面试全套真题解析在互联网火了,附赠复习资料

android 移动开发

河北联通全光智慧专线,构筑更智运营新体验

只需一篇文章吃透Java多线程技术,内容非常全面

Java 程序员 后端

15分钟的字节跳动视频面试,34岁Android程序员裸辞

android 程序员 移动开发

厉害了!java使用教程视频,我的Java春季历程

Java 程序员 后端

声纹识别帮你守住钱袋子,聊一聊证券行业里的人工智能

Zilliz

AI 向量检索 Milvus 向量

DevOps 时代的高效测试之路

CODING DevOps

DevOps 团队 自动化测试 持续交付

12道Android高级面试题:android项目开发实战入门百度网盘

android 程序员 移动开发

1个月学会Android开发!动脑学院vip

android 程序员 移动开发

华为财经2021春招面试,尚硅谷springboot笔记,最全Java知识总结

Java 程序员 后端

卧薪尝胆70天内推入职阿里,2021Java春招

Java 程序员 后端

1-3年Android开发工程师面试经验分享,真的太香了

android 程序员 移动开发

华为大神花费5个月打造的这份714页学习笔记系列,面试看这个就够了

Java 程序员 后端

史上最全的Java面试题集锦,高级Java工程师面试技术

Java 程序员 后端

QCon复盘之《58 集团反爬系统建设之路》

IT蜗壳-Tango

Qcon 10月月更

大数据Flink作业

Clarke

100%好评,扔物线学堂

android 程序员 移动开发

10年阿里开发架构师经验分享:享学课堂架构师vip百度云

android 程序员 移动开发

我有一台服务器,能干啥?

程序员鱼皮

程序员 IT 代码 计算机 java

厉害了!尚硅谷mysql中employees表,腾讯T2手把手教你

Java 程序员 后端

【免费报名】与阿里云一同探索视频云的新技术与新场景

阿里云CloudImagine

阿里云 音视频 视频编码 视频编解码 视频云

如何突破腾讯大数据分析架构瓶颈_QCon_彭渊_InfoQ精选文章