【AICon】AI 基础设施、LLM运维、大模型训练与推理,一场会议,全方位涵盖! >>> 了解详情
写点什么

快手万亿级实时 OLAP 平台的建设与实践

  • 2019-09-07
  • 本文字数:566 字

    阅读完需:约 2 分钟

快手万亿级实时 OLAP 平台的建设与实践

ArchSummit北京2018大会上,李远策讲师做了《快手万亿级实时 OLAP 平台的建设与实践》主题演讲,主要内容如下。


演讲简介


大数据场景下实时多维分析能力极大提升了公司对数据探索的效率。快手大数据架构团队采用开源 Druid+Superset 的方案建设公司万亿级别实时 OLAP 平台。平台上线半年已经接入近 2000 数据源,日摄入消息数达 5000 亿,平均查询时延百毫秒级,在质量监控、事件分析、A/B Test 等业务场景广泛使用。


本次分享会详细介绍快手 OLAP 平台的演进过程、平台的建设经验以及在大规模场景下遇到的问题和解决思路。


演讲提纲


  1. 快手 OLAP 平台背景和技术架构;

  2. 介绍平台建设中遇到的问题和解决思路;​

  3. 典型的多维分析案例介绍;

  4. 平台现存的痛点以及未来规划。


听众受益


  1. OLAP 平台主要解决哪些业务场景;

  2. 如何从 0 建设一个可以支撑万亿级别的实时 OLAP 平台;

  3. 在建设过程中会遇到哪些问题已经如何解决;

  4. 一起讨论 OLAP 平台未来的产品形态。


讲师介绍


李远策


快手科技 大数据平台架构师


快手大数据平台架构师,数据查询引擎团队负责人。负责公司 SQL 引擎、OLAP 引擎、多维可视化平台的研发以及在公司的应用。曾供职于奇虎 360,是开源项目 XLearning 的作者。主要研究领域包括分布式计算、OLAP 引擎、SQL on Hadoop、AI on Hadoop 等。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/beijing/schedule


2019-09-07 13:471929

评论

发布
暂无评论
发现更多内容

每天都扫的二维码,你知道它的技术原理吗?

慕枫技术笔记

后端 2月月更

微信朋友圈的高性能复杂度

smile

架构实战营

在线YAML转CSV工具

入门小站

工具

微信朋友圈高性能复杂度分析

「架构实战营」

朋友圈高性能复杂度分析

风中奇缘

架构实战营 「架构实战营」

模块二作业

Mr小公熊

微信朋友圈高性能复杂度方案设计

Fingal

架构实战营

架构实战营:模块二作业

刘璐

剑指Offer——你真的看懂无领导小组面试了吗?

No Silver Bullet

面试 offer 2月月更 无领导面试

模块二作业

Geek_ec866b

架构实战营

学生管理系统详细架构设计

刘洋

架构实战营 「架构实战营」

微信朋友圈高性能复杂度分析

孙强

#架构实战营

微信朋友圈高性能复杂度分析

Geek_f3e842

架构实战营

聊聊领导力与带团队的那些事

大卡尔

团队管理 领导力 质量保障 2月月更

真正的Kafka多线程消费

dinstone

kafka 多线程 并发消费

Netflix是如何做决策的? | 7. 学习的文化

俞凡

数据分析 netflix 大厂实践 2月月更

微信朋友圈的高性能复杂度分析

tom

跨平台移动APP开发进阶(三):hbuilder+mui mobile app 开发心酸路

No Silver Bullet

跨平台 2月月更 mui

【第 24 期】前端食堂技术周刊

童欧巴

前端 前端开发 行业资讯 周刊 资讯

《人月神话》第十六章阅读笔记:没有银弹

panda

人月神话 阅读笔记 没有银弹

程序员,如何避免无效会议?

蜜糖的代码注释

2月月更

跨平台移动APP开发进阶(二):HTML5+、mui开发移动app教程

No Silver Bullet

跨平台 2月月更 mui

[JAVA冷知识]JAVA居然可以多继承吗?让我们用内部类去实现吧!

山河已无恙

Java 2月月更

欢迎客户支持自动化领域的新兴领导者 Percept.AI 加入 Atlassian 大家庭!

Atlassian

敏捷 Atlassian Jira JiraServiceManagement 客户服务

重学架构之微信朋友圈高性能架构分析

陈华英

架构训练营 架构实战营

微信朋友圈的高性能复杂度分析

张逃逃

开杠面试官-微信朋友圈高性能架构

晨亮

「架构实战营」

《人月神话》第十七章阅读笔记:再论“没有银弹”

panda

人月神话 阅读笔记 没有银弹

作业七-王者荣耀商城异地多活架构设计

曾竞超

架构实战营 「架构实战营」

微信朋友圈高性能架构分析

IT屠狗辈

架构 高性能 微信朋友圈 架构实战营

Linux之iostat命令

入门小站

快手万亿级实时 OLAP 平台的建设与实践_ArchSummit_李远策_InfoQ精选文章