写点什么

Clickhouse 在快手的大规模应用与架构改进

  • 2020-02-05
  • 本文字数:585 字

    阅读完需:约 2 分钟

Clickhouse 在快手的大规模应用与架构改进

ArchSummit 北京 2019 大会上,李振炜讲师做了《Clickhouse 在快手的大规模应用与架构改进》主题演讲,主要内容如下。


演讲简介


Clickhouse 作为一款高性能 OLAP 引擎,在快手内部有大量的应用,但是随着 Clickhouse 集群的规模越来越大,原生 Clickhouse 扩展遇到了瓶颈,并且运维压力也很大。因此实现了 Clickhouse on HDFS 的架构,实现计算和存储分离,海量数据的管理依靠成熟的 HDFS 系统,同时保留 Clickhouse 优异的查询计算性能。Clickhouse on HDFS 上线之后,可以轻松扩展 Clickhouse 的集群规模,实现在海量数据下大规模推广应用。


内容大纲


  1. Clickhouse 在快手的应用现状

  2. Clickhouse on HDFS

  3. Clickhouse 的痛点

  4. Clickhouse on HDFS 的方案设计

  5. Clickhouse on HDFS 的对比测试

  6. 后续 Clickhouse 改进计划


听众受益点


  1. 了解 Clickhouse 在快手的应用场景

  2. 了解快手对 Clickhouse 的一些改进

  3. 分享 Clickhouse 在快手的实践,提供一些可借鉴经验


讲师介绍


李振炜


快手 数据平台部 大数据架构工程师


2015 年硕士毕业后进入奇虎 360,主要负责维护推广 Spark,经历了 Spark 在公司内部从 0 到 1 的发展,实现了 Hive 向 Spark SQL 的迁移;2018 年加入快手数据平台部数据架构组,目前主要负责 Clickhouse 在公司内部的推广与应用。有丰富的分布式计算系统在海量数据场景下的优化经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/beijing/schedule


2020-02-05 20:135909

评论 1 条评论

发布
用户头像
有开源的计划吗
2021-02-02 08:13
回复
没有更多了
发现更多内容

经验说丨华为云视频Cloud Native架构下实践

华为云开发者联盟

架构 微服务 华为云 CloudNative

Java 程序经验小结:消除GC触及不到的过期对象引用

后台技术汇

28天写作

作业-week1

赝品

Soul 学习笔记---soul 数据同步的浅显分析(四)

fightingting

Soul网关

深入剖析RSA密钥原理及实践

vivo互联网技术

算法 https 公钥加密 rsa

期货合约系统软件开发|期货合约APP开发

系统开发

Java学习(一)

灵霄

java基础

产品经理训练营作业00

KingSwim

《原神》运维自动化的探索与实践

OpsMind

运维 运维自动化

当前岗位的理想岗位模型

白生

如何构建高效可信的持续交付能力,华为云有绝活!

华为云开发者联盟

软件 DevOps 持续交付 华为云

汽车行业产品经理备忘录(作业三)

Rui

一张自查清单

熊斌

学习 个人总结 成长笔记 28天写作

这样提问,大牛才会为你解答(提问的智慧)

yes

Soul 网关实践 04|dubbo 服务接入网关

哼干嘛

项目管理系列(6)-能力成熟度

Ian哥

28天写作

Spring 源码学习 15:finishBeanFactoryInitialization(重点)

程序员小航

spring 源码

Soul学习笔记---运行 soul-examples-dubbo(三)

fightingting

Soul网关

如何恶意使用微信视频号 | 视频号 28 天 (12)

赵新龙

28天写作

开发实战:Float如何保留2位小数

worry

Soul学习笔记---运行 soul-examples-http(二)

fightingting

Soul网关

一个button的成长过程

德育处主任

CSS html css3 html/css 28天写作

轻松几步教你将React Native 项目运行在Web端

华为云开发者联盟

html 大前端 Web API React Native

产品经理00期训练营第一周作业 4班

mas

产品经理训练营

智能手表

张老蔫

28天写作

一字一句的让你彻底掌握JavaScript中的回调函数

华为云开发者联盟

JavaScript 大前端 同步 回调函数

产品经理训练营-第一周作业

羽室

如何处理消息队列中的重复消息

废材姑娘

RocketMQ

AI无人机出手,让输电线路巡检更“聪明”!

华为云开发者联盟

华为云 modelarts 视觉处理

绩效管理,上下同心者胜(三)

一笑

管理 绩效 28天写作

云原生动态周报 | KubeEdge被评为2020十大边缘计算开源项目

华为云原生团队

云计算 云原生 边缘计算 华为云 边缘技术

Clickhouse 在快手的大规模应用与架构改进_ArchSummit_李振炜_InfoQ精选文章