在 2025 收官前,看清 Data + AI 的真实走向,点击查看 BUILD 大会精华版 了解详情
写点什么

Clickhouse 在快手的大规模应用与架构改进

  • 2020-02-05
  • 本文字数:585 字

    阅读完需:约 2 分钟

Clickhouse 在快手的大规模应用与架构改进

ArchSummit 北京 2019 大会上,李振炜讲师做了《Clickhouse 在快手的大规模应用与架构改进》主题演讲,主要内容如下。


演讲简介


Clickhouse 作为一款高性能 OLAP 引擎,在快手内部有大量的应用,但是随着 Clickhouse 集群的规模越来越大,原生 Clickhouse 扩展遇到了瓶颈,并且运维压力也很大。因此实现了 Clickhouse on HDFS 的架构,实现计算和存储分离,海量数据的管理依靠成熟的 HDFS 系统,同时保留 Clickhouse 优异的查询计算性能。Clickhouse on HDFS 上线之后,可以轻松扩展 Clickhouse 的集群规模,实现在海量数据下大规模推广应用。


内容大纲


  1. Clickhouse 在快手的应用现状

  2. Clickhouse on HDFS

  3. Clickhouse 的痛点

  4. Clickhouse on HDFS 的方案设计

  5. Clickhouse on HDFS 的对比测试

  6. 后续 Clickhouse 改进计划


听众受益点


  1. 了解 Clickhouse 在快手的应用场景

  2. 了解快手对 Clickhouse 的一些改进

  3. 分享 Clickhouse 在快手的实践,提供一些可借鉴经验


讲师介绍


李振炜


快手 数据平台部 大数据架构工程师


2015 年硕士毕业后进入奇虎 360,主要负责维护推广 Spark,经历了 Spark 在公司内部从 0 到 1 的发展,实现了 Hive 向 Spark SQL 的迁移;2018 年加入快手数据平台部数据架构组,目前主要负责 Clickhouse 在公司内部的推广与应用。有丰富的分布式计算系统在海量数据场景下的优化经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/beijing/schedule


2020-02-05 20:136054

评论 1 条评论

发布
用户头像
有开源的计划吗
2021-02-02 08:13
回复
没有更多了
发现更多内容

获奖名单公布 | 写作平台八月宠粉福利来袭,参与创作领取限时大奖~

InfoQ写作社区官方

写作平台 征稿 热门活动

原创 | 使用JPA实现DDD持久化- O:对象的世界(3/3)

编程道与术

Java hibernate DDD JDBC jpa

将设计模式应用到日常的curd中-模板方法和装饰器

LSJ

Java 设计 设计模式 装饰器 模板方法

华章科技好书5折优惠,满99再减10元

华章IT

Python AI 数字化转型 Java 25 周年 计算机科学丛书

信息管理软件需求分析阶段的实践经验及论述(2010年)

朱又生

项目管理 产品经理 需求分析 用户需求调研

第十周作业

晨光

软件规模扩张与其组织粒度的进化

superman

中台 微服务 服务化改造

娱乐至穷

北柯

学习 互联网 娱乐 抖音

如何通过electron构建桌面跨平台音视频应用

ZEGO即构

音视频 Electron RTC

中国计算机软件开发合同纠纷分析报告(2019-2)

朱又生

大数据 项目管理 计算机软件开发合同纠纷 风险管理

第十周总结

晨光

即大数据后-贵阳能否成为区块链的机遇之城?

CECBC

区块链 大数据 贵阳

AndroidStudio解决Unknown host 'd29vzk4ow07wi7.cloudfront.net'. You may need to adjust the proxy settings in Gradle

小菜鸟学php

微服务的认识

chenzt

不断壮大的电竞生态——英特尔大师挑战赛携手李宁中国选手等你来战!

最新动态

架构师训练营第10周

大丁💸💵💴💶🚀🐟

SpreadJS 纯前端表格控件应用案例:生产采购管理软件

葡萄城技术团队

央行清算总中心与三家银行签署区块链福费廷交易平台合作协议

CECBC

区块链技术 人民银行

丢弃掉那些BeanUtils工具类吧,MapStruct真香!!!

Hollis

Java 程序员 后端

华为阿里下班时间曝光:所有的光鲜,都有加班的味道

程序员生活志

华为 加班 阿里

快速学习秘诀:费曼学习法

池建强

学习

中国计算机软件开发合同纠纷分析报告(2019-3)

朱又生

大数据 项目管理 计算机软件开发合同纠纷 风险管理

RushPlayer“一键下马”系列之-JavPlayer

flow

IMC御用设备到底有多强?英特尔携手掠夺者呈现“飞”一般5GHz电竞盛宴

最新动态

低/零代码的认知误区有哪些?

代码制造者

编程语言 低代码 零代码 信息化 开发应用

第四届IMC再起烽烟 极致性能助战力升级!

最新动态

SpreadJS 纯前端表格控件应用案例:医疗行业智能报表系统

葡萄城技术团队

Linux神器strace的使用方法及实践

华为云开发者联盟

Linux 运维 工具 后端 Strace

中国计算机软件开发合同纠纷分析报告(2019-1)

朱又生

大数据 项目管理 计算机软件开发合同纠纷 风险管理

Oracle常用命令

阡陌r

微服务

石刻掌纹

Clickhouse 在快手的大规模应用与架构改进_ArchSummit_李振炜_InfoQ精选文章