写点什么

Clickhouse 在快手的大规模应用与架构改进

  • 2020-02-05
  • 本文字数:585 字

    阅读完需:约 2 分钟

Clickhouse 在快手的大规模应用与架构改进

ArchSummit 北京 2019 大会上,李振炜讲师做了《Clickhouse 在快手的大规模应用与架构改进》主题演讲,主要内容如下。


演讲简介


Clickhouse 作为一款高性能 OLAP 引擎,在快手内部有大量的应用,但是随着 Clickhouse 集群的规模越来越大,原生 Clickhouse 扩展遇到了瓶颈,并且运维压力也很大。因此实现了 Clickhouse on HDFS 的架构,实现计算和存储分离,海量数据的管理依靠成熟的 HDFS 系统,同时保留 Clickhouse 优异的查询计算性能。Clickhouse on HDFS 上线之后,可以轻松扩展 Clickhouse 的集群规模,实现在海量数据下大规模推广应用。


内容大纲


  1. Clickhouse 在快手的应用现状

  2. Clickhouse on HDFS

  3. Clickhouse 的痛点

  4. Clickhouse on HDFS 的方案设计

  5. Clickhouse on HDFS 的对比测试

  6. 后续 Clickhouse 改进计划


听众受益点


  1. 了解 Clickhouse 在快手的应用场景

  2. 了解快手对 Clickhouse 的一些改进

  3. 分享 Clickhouse 在快手的实践,提供一些可借鉴经验


讲师介绍


李振炜


快手 数据平台部 大数据架构工程师


2015 年硕士毕业后进入奇虎 360,主要负责维护推广 Spark,经历了 Spark 在公司内部从 0 到 1 的发展,实现了 Hive 向 Spark SQL 的迁移;2018 年加入快手数据平台部数据架构组,目前主要负责 Clickhouse 在公司内部的推广与应用。有丰富的分布式计算系统在海量数据场景下的优化经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/beijing/schedule


2020-02-05 20:135949

评论 1 条评论

发布
用户头像
有开源的计划吗
2021-02-02 08:13
回复
没有更多了
发现更多内容

分享:在阿里做Java开发的这五年,收获与感悟

Java架构师迁哥

百度开发者中心全新升级 | 文末六一送福利

百度开发者中心

百度 福利

ARTS--week 10 补打卡

steve_lee

龙蜥专场精彩回放来了!10位技术大咖、242位开发者相聚

阿里云基础软件团队

腾讯云携手信通院启动“云原生开源白皮书”编写,深度解读云原生

CODING DevOps

腾讯云 DevOps 云原生

区块链在数据管理中有哪些价值?

CECBC

🐬【MySQL技术导航】带你认识一下数据库的锁

码界西柚

MySQL MySQL锁 6月日更

23种设计模式,正确的解读方式原来是这样

Java架构师迁哥

《原则》(三)

Changing Lin

如何设置HashMap初始化大小

Hex

后端 hashmap

python——使用input()函数

在即

6月日更

Tapdata 数据库实时同步的技术要点

tapdata

数据库迁移 数据同步 实时数据分析

速度,力度,广度:金融数智化中的华为“寻道”

脑极体

区块链:可持续发展的世界的有效工具?

CECBC

Redis--哈希冲突

是老郭啊

redis hash

反洗钱监管再度升级,看这家金融集团如何应对

索信达控股

大数据 银行 金融监管 风险管理 数据管理

defi流动性挖矿系统开发(案例版)丨defi流动性挖矿源码现成版

系统开发咨询1357O98O718

系统性思维 系统之美2

张老蔫

28天写作

WebSocket 对象简介

编程三昧

大前端 websocket

权限与认证:JWT

程序员架构进阶

Token JWT 认证授权 28天写作 6月日更

系统性思维 系统之美1

张老蔫

28天写作

持续测试 | 测试流程提效:在 CODING 中实践迭代内的持续测试

CODING DevOps

DevOps 测试计划 持续测试 迭代式测试

资产信息化、数字化和通证化—— 理解区块链世界新经济的优势

CECBC

网络攻防学习笔记 Day34

穿过生命散发芬芳

网络攻防 6月日更

MySQL 基础之一:基本命令使用

打工人!

MySQL 6月日更

《开源 PassJava》1、项目介绍

悟空聊架构

开源 面试 刷题 spring cloud alibaba 6月日更

百度搜索与推荐引擎的云原生改造

百度开发者中心

云原生

新大陆!阿里P9整理出:Java架构师“成长笔记”共计23版块

Java架构师迁哥

OpenYurt v0.4.0 新特性发布:高效地管理边缘存储资源

阿里巴巴云原生

云原生

研发自动化,你准备好了么?

PingCode研发中心

研发管理 研发效能 研发工具 研发团队

“openEuler未来发展” 采访熊伟博士

容光

操作系统

Clickhouse 在快手的大规模应用与架构改进_ArchSummit_李振炜_InfoQ精选文章