写点什么

Clickhouse 在快手的大规模应用与架构改进

  • 2020-02-05
  • 本文字数:585 字

    阅读完需:约 2 分钟

Clickhouse 在快手的大规模应用与架构改进

ArchSummit 北京 2019 大会上,李振炜讲师做了《Clickhouse 在快手的大规模应用与架构改进》主题演讲,主要内容如下。


演讲简介


Clickhouse 作为一款高性能 OLAP 引擎,在快手内部有大量的应用,但是随着 Clickhouse 集群的规模越来越大,原生 Clickhouse 扩展遇到了瓶颈,并且运维压力也很大。因此实现了 Clickhouse on HDFS 的架构,实现计算和存储分离,海量数据的管理依靠成熟的 HDFS 系统,同时保留 Clickhouse 优异的查询计算性能。Clickhouse on HDFS 上线之后,可以轻松扩展 Clickhouse 的集群规模,实现在海量数据下大规模推广应用。


内容大纲


  1. Clickhouse 在快手的应用现状

  2. Clickhouse on HDFS

  3. Clickhouse 的痛点

  4. Clickhouse on HDFS 的方案设计

  5. Clickhouse on HDFS 的对比测试

  6. 后续 Clickhouse 改进计划


听众受益点


  1. 了解 Clickhouse 在快手的应用场景

  2. 了解快手对 Clickhouse 的一些改进

  3. 分享 Clickhouse 在快手的实践,提供一些可借鉴经验


讲师介绍


李振炜


快手 数据平台部 大数据架构工程师


2015 年硕士毕业后进入奇虎 360,主要负责维护推广 Spark,经历了 Spark 在公司内部从 0 到 1 的发展,实现了 Hive 向 Spark SQL 的迁移;2018 年加入快手数据平台部数据架构组,目前主要负责 Clickhouse 在公司内部的推广与应用。有丰富的分布式计算系统在海量数据场景下的优化经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/beijing/schedule


2020-02-05 20:135998

评论 1 条评论

发布
用户头像
有开源的计划吗
2021-02-02 08:13
回复
没有更多了
发现更多内容

测试开发 | 探究人工智能的基石:强化学习的奇妙世界

测吧(北京)科技有限公司

测试

FPGA与DSP在通信算法实现中的应用与区别

计算机 DSP FPGA

HBase深度历险 | 京东物流技术团队

京东科技开发者

大模型应用开发之道圆满举办

开放原子开源基金会

开源

ABAQUS如何进行疲劳分析?

思茂信息

仿真软件 abaqus 有限元分析 有限元技术 结构仿真

【第七在线】商品计划对于服装企业的重要性

第七在线

松柏之志,下聚百川-松下中国阿里云大数据实践

阿里云大数据AI技术

生成式 AI,从陌生到使用,仅需两门课

科技热闻

测试开发 | 人工智能的决策智慧:马尔可夫决策过程(MDP)

测吧(北京)科技有限公司

测试

“GPT驱动的新程序员时代 ,我们该如何编程”分论坛圆满举办

开放原子开源基金会

开源

教你几个部署多个nginx-ingress的注意事项

华为云开发者联盟

容器 开发 华为云 华为云开发者联盟

获奖名单公示|荣耀时刻,「第5届天池全球数据库大赛」决赛圆满收官

阿里云瑶池数据库

数据库 阿里云 阿里云瑶池数据库

首个离散元仿真软件EDEM好学吗?有什么学习技巧?

智造软件

仿真软件 仿真工具 离散元 离散元仿真 仿真分析

测试开发 | 深度解析人工智能特征提取

测吧(北京)科技有限公司

测试

QA团队基于DataLeap开放平台能力的数据测试实践

字节跳动数据平台

大数据 测试 QA 数据研发 数据管控

聊一聊 C# 线程切换后上下文都去了哪里

不在线第一只蜗牛

C# 前端 线程 window

我的2023总结,AI快速发展的一年

零零

AI #技术人的2023总结

还不知道什么是生成式 AI?两门课带你从了解到使用

科技热闻

低代码可视化工具10分钟完成应用开发

互联网工科生

软件开发 低代码平台 可视化开发 JNPF

Clickhouse 在快手的大规模应用与架构改进_ArchSummit_李振炜_InfoQ精选文章