【AICon】探索八个行业创新案例,教你在教育、金融、医疗、法律等领域实践大模型技术! >>> 了解详情
写点什么

快手万亿级实时 OLAP 平台的建设与实践

  • 2019-09-07
  • 本文字数:566 字

    阅读完需:约 2 分钟

快手万亿级实时 OLAP 平台的建设与实践

ArchSummit北京2018大会上,李远策讲师做了《快手万亿级实时 OLAP 平台的建设与实践》主题演讲,主要内容如下。


演讲简介


大数据场景下实时多维分析能力极大提升了公司对数据探索的效率。快手大数据架构团队采用开源 Druid+Superset 的方案建设公司万亿级别实时 OLAP 平台。平台上线半年已经接入近 2000 数据源,日摄入消息数达 5000 亿,平均查询时延百毫秒级,在质量监控、事件分析、A/B Test 等业务场景广泛使用。


本次分享会详细介绍快手 OLAP 平台的演进过程、平台的建设经验以及在大规模场景下遇到的问题和解决思路。


演讲提纲


  1. 快手 OLAP 平台背景和技术架构;

  2. 介绍平台建设中遇到的问题和解决思路;​

  3. 典型的多维分析案例介绍;

  4. 平台现存的痛点以及未来规划。


听众受益


  1. OLAP 平台主要解决哪些业务场景;

  2. 如何从 0 建设一个可以支撑万亿级别的实时 OLAP 平台;

  3. 在建设过程中会遇到哪些问题已经如何解决;

  4. 一起讨论 OLAP 平台未来的产品形态。


讲师介绍


李远策


快手科技 大数据平台架构师


快手大数据平台架构师,数据查询引擎团队负责人。负责公司 SQL 引擎、OLAP 引擎、多维可视化平台的研发以及在公司的应用。曾供职于奇虎 360,是开源项目 XLearning 的作者。主要研究领域包括分布式计算、OLAP 引擎、SQL on Hadoop、AI on Hadoop 等。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/beijing/schedule


2019-09-07 13:471925

评论

发布
暂无评论
发现更多内容

JavaScript中exec()方法详解

百度搜索:蓝易云

JavaScript Linux 运维 云服务器 exec

阿里云配置选型

智慧源点

阿里云 ECS

Hover即将在DAO Maker上启动其公开发售

股市老人

听 GPT 讲 Deno 源代码 (12)

fliter

通过 Prometheus 编写 TiDB 巡检脚本(脚本已开源,内附链接)

PingCAP

数据库 TiDB

推荐一套结合了chatgpt、gpt绘画、mj绘画的程序源码

aiisai

源码 GPT 绘画 ChatGPT MidJourney

报错:Cannot read properties of undefined (reading ‘$message‘)解决方法

百度搜索:蓝易云

JavaScript typescript 云计算 运维 云服务器

中国比特币矿工的新根据地:埃塞俄比亚

TechubNews

BTC

Base 链上最火的 meme 叙事:All Your Base Are Belong To Us($AYB)

股市老人

架构的技巧

agnostic

架构设计原则 架构设计实战

【ubuntu】DNS设置工具resolvectl安装教程

百度搜索:蓝易云

Linux ubuntu 运维 云服务器 resolvectl

mysql超出最大连接数解决方法

百度搜索:蓝易云

MySQL 云计算 Linux 运维 云服务器

Final Cut Pro for Mac(fcpx视频剪辑)v10.7.1 中文版

iMac小白

Emotion Wheel: A powerful tool to identify emotions

xiaoxi666

心理学

一文了解Validator库

百度搜索:蓝易云

html Linux 运维 Node validator

【组织】读《领导力》

极光一号。

苹果Vision Pro与头显新应用

算AI

人工智能 创业 创新

听 GPT 讲 Deno 源代码 (13)

fliter

Nop平台的定位和发展规划

canonical

DDD 低代码 可逆计算 Nop平台

TIKV 分布式事务--Prewrite 接口详解

TiDB 社区干货传送门

TiDB 底层架构 TiKV 源码解读 TiKV 底层架构

听 GPT 讲 Deno 源代码 (10)

fliter

Embedding模型部署及效果评测

xiaoxi666

Embedding 大模型

听 GPT 讲 client-go 源代码 (1)

fliter

Go 1.22 for 循环的两处重要更新

陈明勇

Go go1.22 go for

TiDB in 2023, 一次简单的回顾丨PingCAP 唐刘

PingCAP

数据库 分布式 云原生 TiDB

starknet财神开始发红包了

币离海

以太坊 空投 starknet

在中国做 DePIN?你需要明白风险与机遇

TechubNews

黄东旭:“向量数据库”还是“向量搜索插件 + SQL 数据库”?丨我对 2024 年数据库发展趋势的思考

PingCAP

数据库 分布式 TiDB

ConcurrentHashMap是如何保证线程安全的

百度搜索:蓝易云

Java Linux 运维 ConcurrentHashMap 云服务器

听 GPT 讲 Deno 源代码 (11)

fliter

Covalent Network与卡尔加里大学建立合作,推动区块链技术创新

股市老人

快手万亿级实时 OLAP 平台的建设与实践_ArchSummit_李远策_InfoQ精选文章