写点什么

Clickhouse 在快手的大规模应用与架构改进

  • 2020-02-05
  • 本文字数:585 字

    阅读完需:约 2 分钟

Clickhouse 在快手的大规模应用与架构改进

ArchSummit 北京 2019 大会上,李振炜讲师做了《Clickhouse 在快手的大规模应用与架构改进》主题演讲,主要内容如下。


演讲简介


Clickhouse 作为一款高性能 OLAP 引擎,在快手内部有大量的应用,但是随着 Clickhouse 集群的规模越来越大,原生 Clickhouse 扩展遇到了瓶颈,并且运维压力也很大。因此实现了 Clickhouse on HDFS 的架构,实现计算和存储分离,海量数据的管理依靠成熟的 HDFS 系统,同时保留 Clickhouse 优异的查询计算性能。Clickhouse on HDFS 上线之后,可以轻松扩展 Clickhouse 的集群规模,实现在海量数据下大规模推广应用。


内容大纲


  1. Clickhouse 在快手的应用现状

  2. Clickhouse on HDFS

  3. Clickhouse 的痛点

  4. Clickhouse on HDFS 的方案设计

  5. Clickhouse on HDFS 的对比测试

  6. 后续 Clickhouse 改进计划


听众受益点


  1. 了解 Clickhouse 在快手的应用场景

  2. 了解快手对 Clickhouse 的一些改进

  3. 分享 Clickhouse 在快手的实践,提供一些可借鉴经验


讲师介绍


李振炜


快手 数据平台部 大数据架构工程师


2015 年硕士毕业后进入奇虎 360,主要负责维护推广 Spark,经历了 Spark 在公司内部从 0 到 1 的发展,实现了 Hive 向 Spark SQL 的迁移;2018 年加入快手数据平台部数据架构组,目前主要负责 Clickhouse 在公司内部的推广与应用。有丰富的分布式计算系统在海量数据场景下的优化经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/beijing/schedule


2020-02-05 20:136025

评论 1 条评论

发布
用户头像
有开源的计划吗
2021-02-02 08:13
回复
没有更多了
发现更多内容

Android音视频 - EGL源码解析以及C++实现

LoveYFan

android 音视频 OpenGL ES

【得物技术】算法入门一:算法的好坏?复杂度告诉你

得物技术

算法 时间复杂度 大前端 入门 复杂度

JavaScript小笔记

赫鲁小夫

4月日更

Redis 最后一课

escray

redis 学习 极客时间 Redis 核心技术与实战 4月日更

深圳龙华携手腾讯云 加快推进区块链先行试验区建设

CECBC

那束漂亮的手捧花

小天同学

爱情 4月日更 幸福 传递

如何引入TDD实践

顿晓

TDD 4月日更

CIAM的7个基本原则

龙归科技

安全性 用户 业务增长

调整云计算资源大小时要避免的10个错误

云计算

我的 2015-2018 —— 银行软开三年项目回顾

清秋

大前端 重构 鉴权 4月日更

微服务网关:Spring Cloud Gateway —— Zuul

程序员架构进阶

微服务 网关 28天写作 4月日更

聊聊云厂商的指标监控组件

耳东@Erdong

Prometheus 4月日更 #Grafana

Android音视频 - MediaCodec编解码音视频

LoveYFan

android 音视频 编解码

新华三“云屏”发布:云屏融合重塑工作体验,全力构建智“会”时代

DT极客

深入浅出 LVS 负载均衡系列(一):NAT、FULLNAT 模型原理

UCloud技术

负载均衡

三翼鸟的羽翼下,人诗意地栖居在智能生活里

脑极体

浅论结构体与联合体

Integer

c

一个DNS引发的“血案”

穿过生命散发芬芳

Wireshark 数据包分析 4月日更

游戏数据埋点

data_y

游戏 数据埋点 游戏数据分析 埋点定义

在业务高峰期拔掉服务器电源是一种怎样的体验?

冰河

分布式 微服务 数据恢复 MySQL 高可用 异常处理

经典递归

山@支

使用Composition API在Vue3中创建防抖搜索输入框

devpoint

vite Vue3 防抖

聪明人的训练(九)

Changing Lin

4月日更

你真的懂反馈吗?

石云升

28天写作 职场经验 管理经验 4月日更

Go1.16 中模块的新变化

Rayjun

Go 语言

spring的IOC使用以及原理

邱学喆

spring ioc 对象创建 属性注入

使用FFmpeg开发的那些事

Bob

音视频 ffmpeg 开源文化

新的物联网技术应用有哪些

cdhqyj

互联网 物联网 通信 计算机

翻译:《实用的Python编程》08_01_Testing

codists

Python

CI/CD之基于Jenkins的发布平台实践

小江

DevOps jenkins CI/CD 发布流程

线上PHP服务故障排查之路

风翱

PHP-FPM 线上事故 4月日更

Clickhouse 在快手的大规模应用与架构改进_ArchSummit_李振炜_InfoQ精选文章