“AI 技术+人才”如何成为企业增长新引擎?戳此了解>>> 了解详情
写点什么

如何突破腾讯大数据分析架构瓶颈

  • 2019-09-07
  • 本文字数:711 字

    阅读完需:约 2 分钟

如何突破腾讯大数据分析架构瓶颈

QCon上海2018大会上,彭渊讲师做了《如何突破腾讯大数据分析架构瓶颈》主题演讲,主要内容如下。


演讲简介


对于腾讯庞大的大数据分析业务,几千台的 hadoop 集群近百 P 级的存储总量,每日全网 app 产生千亿的消息数据入库,需要针对几十亿 iemi 手机设备去重,并关联数百亿的历史全表,进行曝光、点击、pv、uv、日活、新增、留存等统计指标分析,当前所有业务的 ETL 清洗、统计计算、用户画像都全部依赖离线 m/r 和 hive sql,给集群造成很大压力,系统负载高任务积压重,计算耗时久业务响应慢(t+1),难以及时反馈市场信息的变化,不仅是技术上的巨大挑战,同时业务的迅速增长变化对当前技术团队的工作模式和流程也造成很大挑战。如何突破现有大数据分析架构瓶颈?本分享内容将带来腾讯大数据技术的新发展和架构实践,介绍基于自研 bitmap 技术的大数据系统“锋刃”,以及 olap 全新驱动模式的架构战略,真正做到秒级实时查看每分钟指标、全维度的用户 olap 自助分析、闭环的动态运营体系。

听众受益

  • 流处理 bitmap 的大数据实时分析架构和落地实践

  • 自研 bitmap 引擎和 RoaringBitmap 的对比优势

  • 腾讯灯塔业务场景实施

  • 腾讯天玑业务场景实施

  • 腾讯浏览器 ABtest 业务场景实施

  • 海量大数据的 rolap 和 molap 架构实践


讲师介绍


彭渊


腾讯 T4 专家 资深架构师


彭渊,现任腾讯 T4 专家,历任阿里资深专家,华为中间件首席架构师,淘宝高级专家等。在中国 IT 互联网技术领域从业多年,曾撰写多款开源软件,代表作有 Fourinone(四不像)分布式核心技术框架、CoolHash 并行数据库引擎等,曾出版书籍《大规模分布式系统架构与设计实战》,拥有多项软件著作权和专利。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-09-07 07:443090

评论

发布
暂无评论
发现更多内容

户外LED显示屏应对炎热高温天气有妙招

Dylan

LED显示屏 led显示屏厂家

数据类型的转换

7月月更

想通讯?谈钱多俗,谈ProtoBuf

怀瑾握瑜的嘉与嘉

protobuf 7月月更

SAP Fiori Launchpad 上看不到任何 tile 应该怎么办?

Jerry Wang

JavaScript SAP SAP UI5 ui5 7月月更

自建个性化自动报价系统,应对多变报价模式

明道云

解决问题的最佳实践路径

老张

解决问题 思考实践

Ceph分布式存储性能调优(六)

Lansonli

云原生 云存储 7月月更

Android/Unity大乱斗-集成遇到的问题

芝麻粒儿

android Unity 7月月更

TCP拥塞控制详解 | 6. 主动队列管理

俞凡

算法 网络 TCP拥塞控制

彻底了解C++异步从理论到实践

C++后台开发

网络编程 异步 C++后台开发 C++开发 C++编程

mysql进阶(四)聊聊mysql中的事务锁机制

No Silver Bullet

MySQL 7月月更

数据湖基本架构

五分钟学大数据

数据湖 7月月更

String 实现模糊查询

小肉球

qt 7月月更

Flink1.7从安装到体验

程序员欣宸

Java flink 7月月更

LeetCode-110. 平衡二叉树(java)

bug菌

Leet Code 7月月更

因果学习将开启下一代AI浪潮?九章云极DataCanvas正式发布YLearn因果学习开源项目

九章云极DataCanvas

人工智能 GitHub 开源项目 因果学习 YLearn

冲刺金九银十!这份Java性能调优实战宝典,学明白轻松涨薪20k

了不起的程序猿

Java java程序员 java面试 后端技术

java零基础入门-递归

喵手

Java 7月月更

JAVA编程规范之并发处理

源字节1号

软件开发 后端开发

关于TCP/IP协议漏洞的安全措施

郑州埃文科技

IP地址 TCP/IP漏洞修复 TCP/IP协议漏洞

Linux下使用QT+OpenCV实现人脸实时检测(从摄像头获取数据进行检测)

DS小龙哥

7月月更

MFC|框架下按钮的自绘

中国好公民st

c++ 7月月更

问题来了!拔掉网线几秒,再插回去,原本的 TCP 连接还存在吗?

冉然学Java

Java TCP

【CODETOOL】文件比较Beyond Compare使用介绍

柒号华仔

开发工具 7月月更

Qt | 控件之QCheckBox

YOLO.

qt 7月月更

纯css实现炫酷的视频文本蒙版效果

南极一块修炼千年的大冰块

7月月更

欢迎来到 GrafanaFans 兴趣小组

Grafana 爱好者

云原生 可观测性 Grafana

C 语言入门(七)

逝缘~

7月月更

Block的底层实现

NewBoy

ios 前端 移动端 iOS 知识体系 7月月更

C# 程序调试和异常处理(try catch)

IC00

C# 7月月更

干货 | 作为前端开发者如何迈向独立开发者

南城FE

独立开发者 前端 7月月更

如何突破腾讯大数据分析架构瓶颈_QCon_彭渊_InfoQ精选文章