首次独家呈现 OPPO 四大创新技术实践,尽在 QCon 上海 OPPO 技术专场! 了解详情
写点什么

Clickhouse 在快手的大规模应用与架构改进

2020 年 2 月 05 日

Clickhouse 在快手的大规模应用与架构改进

ArchSummit 北京 2019 大会上,李振炜讲师做了《Clickhouse 在快手的大规模应用与架构改进》主题演讲,主要内容如下。


演讲简介


Clickhouse 作为一款高性能 OLAP 引擎,在快手内部有大量的应用,但是随着 Clickhouse 集群的规模越来越大,原生 Clickhouse 扩展遇到了瓶颈,并且运维压力也很大。因此实现了 Clickhouse on HDFS 的架构,实现计算和存储分离,海量数据的管理依靠成熟的 HDFS 系统,同时保留 Clickhouse 优异的查询计算性能。Clickhouse on HDFS 上线之后,可以轻松扩展 Clickhouse 的集群规模,实现在海量数据下大规模推广应用。


内容大纲


  1. Clickhouse 在快手的应用现状

  2. Clickhouse on HDFS

  3. Clickhouse 的痛点

  4. Clickhouse on HDFS 的方案设计

  5. Clickhouse on HDFS 的对比测试

  6. 后续 Clickhouse 改进计划


听众受益点


  1. 了解 Clickhouse 在快手的应用场景

  2. 了解快手对 Clickhouse 的一些改进

  3. 分享 Clickhouse 在快手的实践,提供一些可借鉴经验


讲师介绍


李振炜


快手 数据平台部 大数据架构工程师


2015 年硕士毕业后进入奇虎 360,主要负责维护推广 Spark,经历了 Spark 在公司内部从 0 到 1 的发展,实现了 Hive 向 Spark SQL 的迁移;2018 年加入快手数据平台部数据架构组,目前主要负责 Clickhouse 在公司内部的推广与应用。有丰富的分布式计算系统在海量数据场景下的优化经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/beijing/schedule


2020 年 2 月 05 日 20:133821

评论 1 条评论

发布
用户头像
有开源的计划吗
2021 年 02 月 02 日 08:13
回复
没有更多了
发现更多内容

对象存储手把手教五 | 数据存取与加密

QingStor分布式存储

对象存储 分布式存储 数据加密

新基建+新科技,智慧港口船舶抢抓数字化转型先机

一只数据鲸鱼

数据可视化 智慧港口 智慧船舶 智慧码头

ResNet-50 在 ImageNet-1k 上的实验笔记

毛显新

人工智能 神经网络 深度学习 卷积神经网络 PyTorch

阿里大牛肝出的443页TCP/IP协议趣谈笔记,竟然在GitHub标星27k+

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

意外发现GitHub 星标35k+ 435页网络协议深度笔记,出自华为架构师

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

牛皮了!阿里大佬总结的图解Java手册在GitHub火了,完整版开源中

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

web技术分享| 前端秘籍之“易容”术

anyRTC开发者

人工智能 前端 音视频 web技术分享

阿里内部进阶资料:24w字的Java面试宝典,竟然在GitHub霸榜月余

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

一萌妹子的面试经历,美团四面三小时,成功拿到Java岗offer

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

Python基础综合练习1

在即

9月日更

小白都能看懂的JVM知识,一文带你学会JVM内存模型!

华为云开发者社区

Java JVM 内存管理 Java虚拟机 JVM内存模型

OpenMetric与时序数据库模型之主流TSDB分析

华为云开发者社区

Prometheus Influxdb 时序数据库 tsdb OpenMetric

springBoot集成Activitis

鸟哥

Vite + Vue3 + OpenLayers 弹窗

学习委员

前端 地图 vite Vue3 openlayers

小红书严惩刷量行为:如何才能优雅的种草

石头IT视角

发布半小时登上GitHub首页的Spring Boot实战笔记,竟是京东T8编写

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

金九银十涨薪50%,从默默无闻,到坐上美团L8技术专家(面经+心得)

Java 编程 程序员 架构 面试

AD域是什么意思?有什么用?

行云管家

服务器 内网 AD域

程序员35岁后的发展,欢迎一起来讨论

hanaper

vue3,对比 vue2 有什么优点?

华为云开发者社区

Vue Vue3 vue2 diff算法 渲染API

Python中使用定时调度任务(Schedule Jobs)的5种方式

Regan Yue

Python 调度 9月日更

Alibaba内部最新Java架构核心宝典 (全彩版小册开源)

云流

Java 程序员 架构 面试 计算机

双赞的一体机主板能应用到哪些行业?

双赞工控

DataPipeline助力国际知名物流服务商,打造供应链改革新样本!

DataPipeline数见科技

什么是运维?怎样快速做好运维工作?

行云管家

云计算 运维 服务器 云运维

你的工作谁做主?

产品运营心经

工作效率 职场成长

全链路压测流量模型

FunTester

性能测试 全链路压测 FunTester 灰度分流 流量回放

Github星标80.3K!就靠这份阿里内部Redis高级笔记让我重新站起来了~

Geek_33f0ef

编程 程序员 面试 架构师

浅谈百度阅读/文库NA端排版技术

百度Geek说

前端 百度文库

盘点 | 主流云原生数据库技术方案

RadonDB开源社区

数据库 云原生

KubeVirt with YRCloudFile 擦出创新的火花

焱融科技

文件存储 虚拟化 高性能, 云原生, 分布式存储,

开源中间件技术学习路线

开源中间件技术学习路线

Clickhouse 在快手的大规模应用与架构改进-InfoQ