快手万亿级实时 OLAP 平台的建设与实践

阅读数:737 2019 年 9 月 7 日 13:47

快手万亿级实时 OLAP 平台的建设与实践

ArchSummit 北京 2018 大会上,李远策讲师做了《快手万亿级实时 OLAP 平台的建设与实践》主题演讲,主要内容如下。

演讲简介

大数据场景下实时多维分析能力极大提升了公司对数据探索的效率。快手大数据架构团队采用开源 Druid+Superset 的方案建设公司万亿级别实时 OLAP 平台。平台上线半年已经接入近 2000 数据源,日摄入消息数达 5000 亿,平均查询时延百毫秒级,在质量监控、事件分析、A/B Test 等业务场景广泛使用。

本次分享会详细介绍快手 OLAP 平台的演进过程、平台的建设经验以及在大规模场景下遇到的问题和解决思路。

演讲提纲

  1. 快手 OLAP 平台背景和技术架构;
  2. 介绍平台建设中遇到的问题和解决思路;​
  3. 典型的多维分析案例介绍;
  4. 平台现存的痛点以及未来规划。

听众受益

  1. OLAP 平台主要解决哪些业务场景;
  2. 如何从 0 建设一个可以支撑万亿级别的实时 OLAP 平台;
  3. 在建设过程中会遇到哪些问题已经如何解决 ;
  4. 一起讨论 OLAP 平台未来的产品形态。

讲师介绍

李远策

快手科技 大数据平台架构师

快手大数据平台架构师,数据查询引擎团队负责人。负责公司 SQL 引擎、OLAP 引擎、多维可视化平台的研发以及在公司的应用。曾供职于奇虎 360,是开源项目 XLearning 的作者。主要研究领域包括分布式计算、OLAP 引擎、SQL on Hadoop、AI on Hadoop 等。

快手万亿级实时 OLAP 平台的建设与实践

快手万亿级实时 OLAP 平台的建设与实践

快手万亿级实时 OLAP 平台的建设与实践

快手万亿级实时 OLAP 平台的建设与实践

快手万亿级实时 OLAP 平台的建设与实践

快手万亿级实时 OLAP 平台的建设与实践

快手万亿级实时 OLAP 平台的建设与实践

快手万亿级实时 OLAP 平台的建设与实践

快手万亿级实时 OLAP 平台的建设与实践

快手万亿级实时 OLAP 平台的建设与实践

完整演讲 PPT 下载链接

https://archsummit.infoq.cn/2018/beijing/schedule

评论

发布