在QCon上海2018大会上，彭渊讲师做了《如何突破腾讯大数据分析架构瓶颈》主题演讲，主要内容如下。

演讲简介：

对于腾讯庞大的大数据分析业务，几千台的hadoop集群近百P级的存储总量，每日全网app产生千亿的消息数据入库，需要针对几十亿iemi手机设备去重，并关联数百亿的历史全表，进行曝光、点击、pv、uv、日活、新增、留存等统计指标分析，当前所有业务的ETL清洗、统计计算、用户画像都全部依赖离线m/r和hive sql，给集群造成很大压力，系统负载高任务积压重，计算耗时久业务响应慢（t+1），难以及时反馈市场信息的变化，不仅是技术上的巨大挑战，同时业务的迅速增长变化对当前技术团队的工作模式和流程也造成很大挑战。如何突破现有大数据分析架构瓶颈？本分享内容将带来腾讯大数据技术的新发展和架构实践，介绍基于自研bitmap技术的大数据系统“锋刃”，以及olap全新驱动模式的架构战略，真正做到秒级实时查看每分钟指标、全维度的用户olap自助分析、闭环的动态运营体系。

听众受益

流处理bitmap的大数据实时分析架构和落地实践
自研bitmap引擎和RoaringBitmap的对比优势
腾讯灯塔业务场景实施
腾讯天玑业务场景实施
腾讯浏览器ABtest业务场景实施
海量大数据的rolap和molap架构实践

讲师介绍：

彭渊

腾讯 T4专家资深架构师

彭渊，现任腾讯T4专家，历任阿里资深专家，华为中间件首席架构师，淘宝高级专家等。在中国IT互联网技术领域从业多年，曾撰写多款开源软件，代表作有Fourinone（四不像）分布式核心技术框架、CoolHash并行数据库引擎等，曾出版书籍《大规模分布式系统架构与设计实战》，拥有多项软件著作权和专利。

完整演讲PPT下载链接：

https://qcon.infoq.cn/2018/shanghai/schedule

创作场景

如何突破腾讯大数据分析架构瓶颈