免费注册!6月19-20日,「亚马逊云科技中国峰会」重磅来袭! 了解详情
写点什么

快手万亿级实时 OLAP 平台的建设与实践

  • 2019-09-07
  • 本文字数:566 字

    阅读完需:约 2 分钟

快手万亿级实时 OLAP 平台的建设与实践

ArchSummit北京2018大会上,李远策讲师做了《快手万亿级实时 OLAP 平台的建设与实践》主题演讲,主要内容如下。


演讲简介


大数据场景下实时多维分析能力极大提升了公司对数据探索的效率。快手大数据架构团队采用开源 Druid+Superset 的方案建设公司万亿级别实时 OLAP 平台。平台上线半年已经接入近 2000 数据源,日摄入消息数达 5000 亿,平均查询时延百毫秒级,在质量监控、事件分析、A/B Test 等业务场景广泛使用。


本次分享会详细介绍快手 OLAP 平台的演进过程、平台的建设经验以及在大规模场景下遇到的问题和解决思路。


演讲提纲


  1. 快手 OLAP 平台背景和技术架构;

  2. 介绍平台建设中遇到的问题和解决思路;​

  3. 典型的多维分析案例介绍;

  4. 平台现存的痛点以及未来规划。


听众受益


  1. OLAP 平台主要解决哪些业务场景;

  2. 如何从 0 建设一个可以支撑万亿级别的实时 OLAP 平台;

  3. 在建设过程中会遇到哪些问题已经如何解决;

  4. 一起讨论 OLAP 平台未来的产品形态。


讲师介绍


李远策


快手科技 大数据平台架构师


快手大数据平台架构师,数据查询引擎团队负责人。负责公司 SQL 引擎、OLAP 引擎、多维可视化平台的研发以及在公司的应用。曾供职于奇虎 360,是开源项目 XLearning 的作者。主要研究领域包括分布式计算、OLAP 引擎、SQL on Hadoop、AI on Hadoop 等。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/beijing/schedule


2019-09-07 13:472169

评论

发布
暂无评论
发现更多内容

Spring之IOC自动装配

楠羽

笔记 SP【ring 10月月更

跟着卷卷龙一起学Camera--RGBNIR sensor 02

卷卷龙

ISP camera 10月月更

网络异常之后为什么MOA地址列表错乱了?

BUG侦探

TCP Jedis 乱序

Java文档注释 Intellij IDEA Generate JavaDoc

Yeats_Liao

后端 doc Java core 10月月更

基础算法:二分查找 搜索插入位置

芯动大师

Python 二分查找 10月月更

Go容易搞错的知识点汇总

王中阳Go

Go 面试题 #go 10月月更 go面试题

Vue组件入门(二)props和emit

Augus

Vue3 10月月更

爬虫实例——爬取豆瓣网 top250 电影的信息

芯动大师

Python爬虫 10月月更 爬虫案例

cstdio的源码学习分析09-改变文件流文件流buffer函数setvbuf

桑榆

源码刨析 10月月更 C++

跟着卷卷龙一起学Camera--RGBNIR sensor 01

卷卷龙

ISP camera 10月月更

使用 Scrapy 框架来爬取数据

芯动大师

spider scrapy框架 10月月更

Flash软件应用项目(一)

张立梵

设计师 Flash 10月月更

Redis 的快速介绍及其基本数据类型和操作

宇宙之一粟

redis 10月月更

【Java深入学习】Park&Unpark的深入学习讲解

Geek_65222d

10月月更

这是两个Gopher面试必知必会的知识点,你搞懂了吗?

王中阳Go

Go golang 面试题 channel 10月月更

Dapr简介-分布式应用运行时

久歌

架构 servicemesh 技术架构 dapr

【网络安全篇】php伪协议-漏洞及其原理

贤鱼很忙

php 网络安全 Web 10月月更

Web3雇佣兵的现状,Zebec根本上提高用户黏性

鳄鱼视界

跟着卷卷龙一起学Camera--夜景拍照01

卷卷龙

ISP camera 10月月更

【网络安全】如何在Apache 安装开源 WAF

网络安全学海

黑客 网络安全 信息安全 渗透测试

sql注入--handler语句--一文详细解说其原理和方法

贤鱼很忙

Web SQL注入 10月月更

《数字经济全景白皮书》中国银行业场景金融生态建设分析2022 发布

易观分析

金融 客户 场景生态建设

数据中台4点核心建设内容

阿泽🧸

数据中台 10月月更

【答读者问】把Go基础学完后,是学web方向还是区块链方向?

王中阳Go

php Go 区块链 职业规划 10月月更

Docker下Nacos配置应用开发

程序员欣宸

nacos spring-cloud 10月月更

MySQL高级--性能优化之索引使用

Java学术趴

10月月更

sql注入--通过修改数据完成注入--一文详细讲解

贤鱼很忙

Web SQL注入 10月月更

Web3雇佣兵的现状,Zebec根本上提高用户黏性

股市老人

云服务架构设计基础模式

穿过生命散发芬芳

10月月更 云服务架构

2022-10-11:一个整数区间 [a, b] ( a < b ) 代表着从 a 到 b 的所有连续整数,包括 a 和 b。 给你一组整数区间intervals,请找到一个最小的集合 S, 使得

福大大架构师每日一题

算法 rust 福大大

快手万亿级实时 OLAP 平台的建设与实践_ArchSummit_李远策_InfoQ精选文章