有奖征文 | 火山引擎开发者社区联合 InfoQ 写作社区第四届征文大赛来袭! 了解详情
写点什么

Clickhouse 在快手的大规模应用与架构改进

  • 2020-02-05
  • 本文字数:585 字

    阅读完需:约 2 分钟

Clickhouse 在快手的大规模应用与架构改进

ArchSummit 北京 2019 大会上,李振炜讲师做了《Clickhouse 在快手的大规模应用与架构改进》主题演讲,主要内容如下。


演讲简介


Clickhouse 作为一款高性能 OLAP 引擎,在快手内部有大量的应用,但是随着 Clickhouse 集群的规模越来越大,原生 Clickhouse 扩展遇到了瓶颈,并且运维压力也很大。因此实现了 Clickhouse on HDFS 的架构,实现计算和存储分离,海量数据的管理依靠成熟的 HDFS 系统,同时保留 Clickhouse 优异的查询计算性能。Clickhouse on HDFS 上线之后,可以轻松扩展 Clickhouse 的集群规模,实现在海量数据下大规模推广应用。


内容大纲


  1. Clickhouse 在快手的应用现状

  2. Clickhouse on HDFS

  3. Clickhouse 的痛点

  4. Clickhouse on HDFS 的方案设计

  5. Clickhouse on HDFS 的对比测试

  6. 后续 Clickhouse 改进计划


听众受益点


  1. 了解 Clickhouse 在快手的应用场景

  2. 了解快手对 Clickhouse 的一些改进

  3. 分享 Clickhouse 在快手的实践,提供一些可借鉴经验


讲师介绍


李振炜


快手 数据平台部 大数据架构工程师


2015 年硕士毕业后进入奇虎 360,主要负责维护推广 Spark,经历了 Spark 在公司内部从 0 到 1 的发展,实现了 Hive 向 Spark SQL 的迁移;2018 年加入快手数据平台部数据架构组,目前主要负责 Clickhouse 在公司内部的推广与应用。有丰富的分布式计算系统在海量数据场景下的优化经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/beijing/schedule


2020-02-05 20:135260

评论 1 条评论

发布
用户头像
有开源的计划吗
2021-02-02 08:13
回复
没有更多了
发现更多内容

拆分电商平台为微服务

smile

Flink对接kafka

云原生

flink kafka 流计算 实时计算

毕业设计

Anlumina

「架构实战营」

kratos 微服务框架商城实战初识 kratos

Aliliin

Go Kratos

关于DDD的一些思考

meacial

DDD 架构设计 领域模型

PHP session反序列化漏洞原理解析

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 漏洞挖掘

架构训练营毕业总结

沈益飞

架构训练营 架构师训练营 4 期

到底为什么不建议使用SELECT *?

蝉沐风

MySQL

KCP协议:从TCP到UDP家族QUIC/KCP/ENET

zhoulujun

网络加速 KCP 游戏加速 quick 带宽优化

电商系统微服务架构拆分

李大虾

#架构实战营 「架构实战营」

我的前端技术思考

PingCode研发中心

架构 Worktile angular dialog PingCode

模块6作业:电商系统微服务拆分

炎彬

「架构实战营」

电商系统微服务拆分

张逃逃

第六个模块作业

achilles

电商系统微服务拆分

风中奇缘

#架构实战营 「架构实战营」

解决QT编译Android程序不支持openssl问题

DS小龙哥

3月月更

架构实战营毕业总结

架构实战营 「架构实战营」

模块九毕业设计

沈益飞

架构训练营 架构训练营4

模块一作业

Dean.Zhang

架构实战营

架构实战营四期-毕业设计

木几丶

「架构实战营」

作业六

Geek_f3e842

架构实战营

Centos7安装单机版Redis

云原生

redis Redis 数据结构

设计一款照片一键加水印的小工具

DS小龙哥

3月月更

模块六

Geek_28cf33

电商系统的微服务拆分方案设计

五月雨

架构实战营 「架构实战营」

【51单片机】矩阵键盘

謓泽

3月月更

Orbiton JS:用于构建 UI 的 JavaScript 库

devpoint

JavaScript 3月月更 Orbiton JS

毕业总结

圈圈gor

架构实战营 「架构实战营」

毕业设计 - 电商秒杀系统

圈圈gor

#架构实战营 「架构实战营」

架构实战营 模块九

架构实战营 「架构实战营」 模块九

架构实战营四期-毕业总结

木几丶

「架构实战营」

Clickhouse 在快手的大规模应用与架构改进_ArchSummit_李振炜_InfoQ精选文章