写点什么

Clickhouse 在快手的大规模应用与架构改进

  • 2020-02-05
  • 本文字数:585 字

    阅读完需:约 2 分钟

Clickhouse 在快手的大规模应用与架构改进

ArchSummit 北京 2019 大会上,李振炜讲师做了《Clickhouse 在快手的大规模应用与架构改进》主题演讲,主要内容如下。


演讲简介


Clickhouse 作为一款高性能 OLAP 引擎,在快手内部有大量的应用,但是随着 Clickhouse 集群的规模越来越大,原生 Clickhouse 扩展遇到了瓶颈,并且运维压力也很大。因此实现了 Clickhouse on HDFS 的架构,实现计算和存储分离,海量数据的管理依靠成熟的 HDFS 系统,同时保留 Clickhouse 优异的查询计算性能。Clickhouse on HDFS 上线之后,可以轻松扩展 Clickhouse 的集群规模,实现在海量数据下大规模推广应用。


内容大纲


  1. Clickhouse 在快手的应用现状

  2. Clickhouse on HDFS

  3. Clickhouse 的痛点

  4. Clickhouse on HDFS 的方案设计

  5. Clickhouse on HDFS 的对比测试

  6. 后续 Clickhouse 改进计划


听众受益点


  1. 了解 Clickhouse 在快手的应用场景

  2. 了解快手对 Clickhouse 的一些改进

  3. 分享 Clickhouse 在快手的实践,提供一些可借鉴经验


讲师介绍


李振炜


快手 数据平台部 大数据架构工程师


2015 年硕士毕业后进入奇虎 360,主要负责维护推广 Spark,经历了 Spark 在公司内部从 0 到 1 的发展,实现了 Hive 向 Spark SQL 的迁移;2018 年加入快手数据平台部数据架构组,目前主要负责 Clickhouse 在公司内部的推广与应用。有丰富的分布式计算系统在海量数据场景下的优化经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/beijing/schedule


2020-02-05 20:135894

评论 1 条评论

发布
用户头像
有开源的计划吗
2021-02-02 08:13
回复
没有更多了
发现更多内容

工信部报告显示:电话越打越少 、短信越发越多……这是怎么回事?

赵新龙

短信 工信部

霸榜 GitHub,一款开源的 Linux 神器!

GitHubDaily

GitHub Linux 编程 开发者工具 计算机网络

【玩转写作社区】Markdown & 快捷键详解

InfoQ写作社区官方

写作平台 markdown 编辑器 快捷键 玩转写作平台

如何成为一名具备产品思维的软件工程师?

顾强

产品 开发者 职场

MySQL实战四十五讲基础篇总结(一)

一个有志气的DB

MySQL

为什么window.open只是打开了一个空白页

阡陌r

Java 踩坑 网络协议

MySQL实战四十五讲基础篇总结(二)

一个有志气的DB

MySQL 日志

spring事务原理

年轮

spring 源码分析

单例模式——独一无二的对象

大头星

Java 面试 设计模式 单例模式

Java开发架构篇:初识领域驱动设计DDD落地

小傅哥

设计模式 领域驱动设计 DDD 小傅哥 架构设计

干货分享:分布式场景之刚性事务-2PC详解

奈学教育

分布式

你是不是对副业有什么误解?

一尘观世界

程序员 副业 认知提升 思维方式 格局

Flink Weekly | 每周社区动态更新-20200513

Apache Flink

大数据 flink 实时计算

都在这儿了!5月 Flink 社区发版、更新汇总

Apache Flink

大数据 flink 流计算 实时计算

【教你如何写作】参与创作,领取 InfoQ 编辑训练营内训课程

InfoQ写作社区官方

写作平台 投稿 热门活动

亲密爱人

Janenesome

爱情

编辑距离的计算

zikcheng

算法 编辑距离

识别代码中的坏味道(四)

Page

敏捷开发 面向对象 重构 CleanCode 代码坏味道

视频 | 5款免费翻译软件实测对比,从花花董花花的被删微博到北京话“你丫给我站住了”都能翻译

赵新龙

翻译

如何讲好故事

Bob Jiang

使用gitlab ci构建IOS包并发送通知消息到企业微信

Zoe

ios ci gitlab

回顾 | Apache Flink Meetup 杭州站圆满结束(附PPT下载)

Apache Flink

大数据 flink 流计算 实时计算

程序员的晚餐 | 5 月 19 日 蒜香鸡腿,味道令人惊讶

清远

美食

SQL 找出 100 以内的质数

zero

sql MySQ

Flink 与 Hive 的磨合期

Apache Flink

大数据 flink 实时计算

MySQL实战四十五讲基础篇总结(三)

一个有志气的DB

MySQL mysql事务

比特币为什么值两万亿?

Haiyung

比特币

有趣的解谜:Python Challenge

封不羁

Python

物联网技术栈之通信技术

老任物联网杂谈

物联网 通信

任何事物当中的百分之九十都是垃圾?

池建强

互联网 信息噪声

一款Python实用神器,5 行 Python 代码 实现一键批量扣图

狂师

Python 学习 效率工具 开发者工具 开发

Clickhouse 在快手的大规模应用与架构改进_ArchSummit_李振炜_InfoQ精选文章