写点什么

Clickhouse 在快手的大规模应用与架构改进

  • 2020-02-05
  • 本文字数:585 字

    阅读完需:约 2 分钟

Clickhouse 在快手的大规模应用与架构改进

ArchSummit 北京 2019 大会上,李振炜讲师做了《Clickhouse 在快手的大规模应用与架构改进》主题演讲,主要内容如下。


演讲简介


Clickhouse 作为一款高性能 OLAP 引擎,在快手内部有大量的应用,但是随着 Clickhouse 集群的规模越来越大,原生 Clickhouse 扩展遇到了瓶颈,并且运维压力也很大。因此实现了 Clickhouse on HDFS 的架构,实现计算和存储分离,海量数据的管理依靠成熟的 HDFS 系统,同时保留 Clickhouse 优异的查询计算性能。Clickhouse on HDFS 上线之后,可以轻松扩展 Clickhouse 的集群规模,实现在海量数据下大规模推广应用。


内容大纲


  1. Clickhouse 在快手的应用现状

  2. Clickhouse on HDFS

  3. Clickhouse 的痛点

  4. Clickhouse on HDFS 的方案设计

  5. Clickhouse on HDFS 的对比测试

  6. 后续 Clickhouse 改进计划


听众受益点


  1. 了解 Clickhouse 在快手的应用场景

  2. 了解快手对 Clickhouse 的一些改进

  3. 分享 Clickhouse 在快手的实践,提供一些可借鉴经验


讲师介绍


李振炜


快手 数据平台部 大数据架构工程师


2015 年硕士毕业后进入奇虎 360,主要负责维护推广 Spark,经历了 Spark 在公司内部从 0 到 1 的发展,实现了 Hive 向 Spark SQL 的迁移;2018 年加入快手数据平台部数据架构组,目前主要负责 Clickhouse 在公司内部的推广与应用。有丰富的分布式计算系统在海量数据场景下的优化经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/beijing/schedule


2020-02-05 20:136047

评论 1 条评论

发布
用户头像
有开源的计划吗
2021-02-02 08:13
回复
没有更多了
发现更多内容

服务器是什么?其作用及有哪些分类?

德胜网络-阳

服务器

第四范式自动化推荐系统:搜索协同过滤中的交互函数

天枢数智运营

人工智能 推荐系统 搜索

BIGO技术 | Paxos的工程实践与极致优化

InfoQ_3597a20b53cc

技术

区块链的现象级应用应该什么样子

CECBC

产业落地 政策扶持 区块链革命 价值传递

敏捷开发:一文了解影响地图和用户故事地图之间的那些事儿

华为云开发者联盟

产品设计 敏捷开发 后端 地图 开发流程

nginx安装配置(windows)

陈靓-哲露

4. JSON字符串是如何被解析的?JsonParser了解一下

YourBatman

Jackson JSON库

极客大学架构师训练营-单向链表相交问题

Geek_zhangjian

判断链表相交

GalaxyCreater

算法

硬核干货:葡萄城 SpreadJS 前端表格技术分享

葡萄城技术团队

Excel SpreadJS 表格控件 表格开发

CDN百科第八期 | 我的网站到底需不需要CDN加速?

阿里云Edge Plus

网站 CDN 云直播

将Arch Linux安装到U盘

Kurtis Moxley

Linux 安装操作系统

判断两个链表是否合并

Z冰红茶

程序员的晚餐 | 7 月 27 日 美味鲫鱼豆腐汤

清远

美食

判断两个链表是否重合

LEAF

HTML5+CSS3前端入门教程---从0开始通过一个商城实例手把手教你学习PC端和移动端页面开发第2章HTML基础知识

Geek_8dbdc1

CSS html

极客大学架构师训练营 - 本周总结

Geek_zhangjian

区块链在公益慈善行业的应用研究

CECBC

区块链技术 公益组织 治理 数据透明

JVM系列之:String.intern的性能

程序那些事

性能 JVM string GC

《深度工作》学习笔记(2)

石云升

学习 专注 深度工作

河南省区块链产业联盟成立暨可信区块链技术创新大会启幕

CECBC

可信区块链 提升核心技术 产业联盟 产学研用

什么是数字孪生,它的应用价值在哪里?

华为云开发者联盟

AI IoT 数字化 汽车电子 工业互联网

【好书推荐】《Python黑魔法指南》-附高清PDF版

华为云开发者联盟

Python 开发者 书摘 python3.7 书籍推荐

计算机网络基础(十)---网络层-迪杰斯特拉算法

书旅

算法 计算机网络 网络 最短路径

NameNode架构图解

我是个bug

Java 大数据 hadoop

拒绝贴标签的懒惰

zhoo299

随笔杂谈

案例解读:深入理解浏览器的缓存机制

华为云开发者联盟

缓存 浏览器 服务器 缓存穿透 华为云

应用开发基础之-数据结构与算法

superman

百万并发「零拷贝」技术系列之Java实现

码农神说

Java 架构 高性能 零拷贝

BIGO技术 | Paxos的工程实践与极致优化

InfoQ_3597a20b53cc

BIGO

What's New in Dubbo-go v1.5

apache/dubbo-go

dubbo Go 语言

Clickhouse 在快手的大规模应用与架构改进_ArchSummit_李振炜_InfoQ精选文章