武汉的开发者们注意啦!AI技术战略、框架以及最佳实战尽在Azure OpenAI Day 了解详情
写点什么

Clickhouse 在快手的大规模应用与架构改进

  • 2020-02-05
  • 本文字数:585 字

    阅读完需:约 2 分钟

Clickhouse 在快手的大规模应用与架构改进

ArchSummit 北京 2019 大会上,李振炜讲师做了《Clickhouse 在快手的大规模应用与架构改进》主题演讲,主要内容如下。


演讲简介


Clickhouse 作为一款高性能 OLAP 引擎,在快手内部有大量的应用,但是随着 Clickhouse 集群的规模越来越大,原生 Clickhouse 扩展遇到了瓶颈,并且运维压力也很大。因此实现了 Clickhouse on HDFS 的架构,实现计算和存储分离,海量数据的管理依靠成熟的 HDFS 系统,同时保留 Clickhouse 优异的查询计算性能。Clickhouse on HDFS 上线之后,可以轻松扩展 Clickhouse 的集群规模,实现在海量数据下大规模推广应用。


内容大纲


  1. Clickhouse 在快手的应用现状

  2. Clickhouse on HDFS

  3. Clickhouse 的痛点

  4. Clickhouse on HDFS 的方案设计

  5. Clickhouse on HDFS 的对比测试

  6. 后续 Clickhouse 改进计划


听众受益点


  1. 了解 Clickhouse 在快手的应用场景

  2. 了解快手对 Clickhouse 的一些改进

  3. 分享 Clickhouse 在快手的实践,提供一些可借鉴经验


讲师介绍


李振炜


快手 数据平台部 大数据架构工程师


2015 年硕士毕业后进入奇虎 360,主要负责维护推广 Spark,经历了 Spark 在公司内部从 0 到 1 的发展,实现了 Hive 向 Spark SQL 的迁移;2018 年加入快手数据平台部数据架构组,目前主要负责 Clickhouse 在公司内部的推广与应用。有丰富的分布式计算系统在海量数据场景下的优化经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/beijing/schedule


2020-02-05 20:135356

评论 1 条评论

发布
用户头像
有开源的计划吗
2021-02-02 08:13
回复
没有更多了
发现更多内容

架构师训练营第三周学习总结

fenix

架构师 0 期 | 组合模式使用

刁架构

设计模式 极客大学架构师训练营 组合模式

架构师训练营-第三周-作业1

seng man

第三周作业

数字

Week 03 学习总结

纯纯

架构师训练营第三周作业

战峰

架构师训练营第三周-代码重构

草原上的奔跑

第三周作业

重新来过

<<架构师训练营>> 第三周作业一

R20114

第三周学习总结----几种设计模式的练习

Geek_165f3d

第三周课程总结

考尔菲德

单例模式小结

L001

第三周作业

魔曦

架构是训练营

总结

chenzt

<<架构师训练营>>第三周作业二

R20114

架构师训练营 W3 作业

Kun

架构师第三课总结

Dennis

第三周感想

数字

设计模式—week3总结

小叶

极客大学架构师训练营

架构师训练营第三周作业

草原上的奔跑

架构师训练营第三周作业

Melo

【第三周】架构师训练营作业

星星

架构师训练营 -week3- 学习总结

暖丶冬

架构师训练营第三周总结

王权富贵

极客大学架构师训练营

手写单例和组合模式运用实例

单例模式 极客大学架构师训练营 组合模式

第三周-学习总结

molly

极客大学架构师训练营

【第三周】架构师训练营总结

星星

Week3

架构师训练营第三周作业

olderwei

极客大学架构师训练营

架构师训练营 第三周-作业

无心水

单例模式 极客大学架构师训练营 组合模式 23种设计模式

第三周总结

uangguan

Clickhouse 在快手的大规模应用与架构改进_ArchSummit_李振炜_InfoQ精选文章