如何突破腾讯大数据分析架构瓶颈

在QCon上海2018大会上，彭渊讲师做了《如何突破腾讯大数据分析架构瓶颈》主题演讲，主要内容如下。

演讲简介：

对于腾讯庞大的大数据分析业务，几千台的 hadoop 集群近百 P 级的存储总量，每日全网 app 产生千亿的消息数据入库，需要针对几十亿 iemi 手机设备去重，并关联数百亿的历史全表，进行曝光、点击、pv、uv、日活、新增、留存等统计指标分析，当前所有业务的 ETL 清洗、统计计算、用户画像都全部依赖离线 m/r 和 hive sql，给集群造成很大压力，系统负载高任务积压重，计算耗时久业务响应慢（t+1），难以及时反馈市场信息的变化，不仅是技术上的巨大挑战，同时业务的迅速增长变化对当前技术团队的工作模式和流程也造成很大挑战。如何突破现有大数据分析架构瓶颈？本分享内容将带来腾讯大数据技术的新发展和架构实践，介绍基于自研 bitmap 技术的大数据系统“锋刃”，以及 olap 全新驱动模式的架构战略，真正做到秒级实时查看每分钟指标、全维度的用户 olap 自助分析、闭环的动态运营体系。

听众受益

• 流处理 bitmap 的大数据实时分析架构和落地实践

• 自研 bitmap 引擎和 RoaringBitmap 的对比优势

• 腾讯灯塔业务场景实施

• 腾讯天玑业务场景实施

• 腾讯浏览器 ABtest 业务场景实施

• 海量大数据的 rolap 和 molap 架构实践

讲师介绍：

彭渊

腾讯 T4 专家 资深架构师

彭渊，现任腾讯 T4 专家，历任阿里资深专家，华为中间件首席架构师，淘宝高级专家等。在中国 IT 互联网技术领域从业多年，曾撰写多款开源软件，代表作有 Fourinone（四不像）分布式核心技术框架、CoolHash 并行数据库引擎等，曾出版书籍《大规模分布式系统架构与设计实战》，拥有多项软件著作权和专利。

完整演讲 PPT 下载链接：

https://qcon.infoq.cn/2018/shanghai/schedule