【AICon】AI 基础设施、LLM运维、大模型训练与推理,一场会议,全方位涵盖! >>> 了解详情
写点什么

快手万亿级实时 OLAP 平台的建设与实践

  • 2019-09-07
  • 本文字数:566 字

    阅读完需:约 2 分钟

快手万亿级实时 OLAP 平台的建设与实践

ArchSummit北京2018大会上,李远策讲师做了《快手万亿级实时 OLAP 平台的建设与实践》主题演讲,主要内容如下。


演讲简介


大数据场景下实时多维分析能力极大提升了公司对数据探索的效率。快手大数据架构团队采用开源 Druid+Superset 的方案建设公司万亿级别实时 OLAP 平台。平台上线半年已经接入近 2000 数据源,日摄入消息数达 5000 亿,平均查询时延百毫秒级,在质量监控、事件分析、A/B Test 等业务场景广泛使用。


本次分享会详细介绍快手 OLAP 平台的演进过程、平台的建设经验以及在大规模场景下遇到的问题和解决思路。


演讲提纲


  1. 快手 OLAP 平台背景和技术架构;

  2. 介绍平台建设中遇到的问题和解决思路;​

  3. 典型的多维分析案例介绍;

  4. 平台现存的痛点以及未来规划。


听众受益


  1. OLAP 平台主要解决哪些业务场景;

  2. 如何从 0 建设一个可以支撑万亿级别的实时 OLAP 平台;

  3. 在建设过程中会遇到哪些问题已经如何解决;

  4. 一起讨论 OLAP 平台未来的产品形态。


讲师介绍


李远策


快手科技 大数据平台架构师


快手大数据平台架构师,数据查询引擎团队负责人。负责公司 SQL 引擎、OLAP 引擎、多维可视化平台的研发以及在公司的应用。曾供职于奇虎 360,是开源项目 XLearning 的作者。主要研究领域包括分布式计算、OLAP 引擎、SQL on Hadoop、AI on Hadoop 等。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/beijing/schedule


2019-09-07 13:471934

评论

发布
暂无评论
发现更多内容

一文讲清楚FusionInsight MRS CDL如何使用

华为云开发者联盟

大数据 数据湖 FusionInsight MRS 集成 CDL

关于Promise你需要知道的一切

devpoint

大前端 Promise 引航计划

宇宙最强语言PHP的“全栈”框架——Laravel来了!

博文视点Broadview

走进吉利|EMQ 映云科技助力车企“新四化”

EMQ映云科技

车联网 物联网 IoT emq iov

如何构建混合云管理平台?——资源管理篇

金蝶天燕云

云计算 云平台

微信朋友圈 - 服务高性能复杂度分析

黑鹰

等保二级需要测评吗?多久测评一次?

行云管家

网络安全 堡垒机 等保测评 过等保 二级等保

博睿数据亮相北京IMC2021第三届中国智造CIO峰会

博睿数据

第 8 章 -《Linux 一学就会》-Centos8 软件包的管理与安装

学神来啦

Linux 运维

华为云开源的Karmada正式成为CNCF首个多云容器编排项目

华为云开发者联盟

容器 集群 cncf Karmada

快准狠!百万年薪的阿里架构师分享深入剖析Java虚拟机文档

Java 架构 面试 程序人生 编程语言

恒源云(GpuShare)_快进来!这里有超高性价比的GPU资源

恒源云

深度学习

大厂敲门砖!Alibaba技术官甩出的Springboot笔记

Java 架构 面试 程序人生 编程语言

看动画学算法之:doublyLinkedList

程序那些事

数据结构 算法 看动画学算法 程序那些事

金秋10月,日更挑战你准备好了么!?

InfoQ写作社区官方

热门活动 10月月更

目睹阿里技术官写的Tomcat架构笔记后,瞬间觉得自己是渣渣

Java 架构 面试 程序人生 编程语言

使用 grpcurl 通过命令行访问 gRPC 服务

AlwaysBeta

golang gRPC

艾瑞发布《2021年中国企业级 SaaS 行业研究报告》,ONES 入选典型厂商案例

万事ONES

项目管理 SaaS 协同办公

东软熙康、百度、京东方,互联网医院的三个典型样本

海比研究院

国庆出游神器:魔幻黑科技换天造物,让vlog秒变科幻大片!

华为云开发者联盟

视频 modelarts 科幻 国庆 天空

恒拓高科亮相中国-东北亚博览会,赋能海内外企业构建数字化新生态

WorkPlus

阅读

从产业链、架构和技术三个层面,看元宇宙与RPA的发展关系

王吉伟频道

RPA 自动化 区块链+ 机器人流程自动化 元宇宙

堡垒机和虚拟机的两大区别分析-行云管家

行云管家

网络安全 虚拟机 服务器 堡垒机

国家级|深信服再获CNCERT应急服务国家级支撑单位称号!

科技热闻

搞不懂云原生

二哥不再迷茫

Python代码阅读(第31篇):将一个列表分割成指定大小的小列表

Felix

Python 编程 Code Programing 阅读代码

一周信创舆情观察(9.13~9.26)

统小信uos

不得不聊一聊英语爱好者的单词杂货铺了

小匚

随笔杂谈 生活记录 英语 大学英语四六级 单词

图谱相关技术在风控反作弊中的应用和探索

百度Geek说

后端 软件架构

华为云带你探秘Xtrabackup备份原理和常见问题分析

华为云数据库小助手

GaussDB 华为云数据库 MySQL 数据库 GaussDB(for MySQL)

探究数字内容生产商机,把握未来内容生产脉搏

华为云开发者联盟

媒体 视频 华为云 数字内容 影视

快手万亿级实时 OLAP 平台的建设与实践_ArchSummit_李远策_InfoQ精选文章