写点什么

Clickhouse 在快手的大规模应用与架构改进

  • 2020-02-05
  • 本文字数:585 字

    阅读完需:约 2 分钟

Clickhouse 在快手的大规模应用与架构改进

ArchSummit 北京 2019 大会上,李振炜讲师做了《Clickhouse 在快手的大规模应用与架构改进》主题演讲,主要内容如下。


演讲简介


Clickhouse 作为一款高性能 OLAP 引擎,在快手内部有大量的应用,但是随着 Clickhouse 集群的规模越来越大,原生 Clickhouse 扩展遇到了瓶颈,并且运维压力也很大。因此实现了 Clickhouse on HDFS 的架构,实现计算和存储分离,海量数据的管理依靠成熟的 HDFS 系统,同时保留 Clickhouse 优异的查询计算性能。Clickhouse on HDFS 上线之后,可以轻松扩展 Clickhouse 的集群规模,实现在海量数据下大规模推广应用。


内容大纲


  1. Clickhouse 在快手的应用现状

  2. Clickhouse on HDFS

  3. Clickhouse 的痛点

  4. Clickhouse on HDFS 的方案设计

  5. Clickhouse on HDFS 的对比测试

  6. 后续 Clickhouse 改进计划


听众受益点


  1. 了解 Clickhouse 在快手的应用场景

  2. 了解快手对 Clickhouse 的一些改进

  3. 分享 Clickhouse 在快手的实践,提供一些可借鉴经验


讲师介绍


李振炜


快手 数据平台部 大数据架构工程师


2015 年硕士毕业后进入奇虎 360,主要负责维护推广 Spark,经历了 Spark 在公司内部从 0 到 1 的发展,实现了 Hive 向 Spark SQL 的迁移;2018 年加入快手数据平台部数据架构组,目前主要负责 Clickhouse 在公司内部的推广与应用。有丰富的分布式计算系统在海量数据场景下的优化经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/beijing/schedule


2020-02-05 20:135875

评论 1 条评论

发布
用户头像
有开源的计划吗
2021-02-02 08:13
回复
没有更多了
发现更多内容

5 分钟搭建「项目文档问答机器人」

Jade@pluto-lang

AWS openai #LangChain rag Pluto

私域流量优化:如何利用 AIPL 模型洞察客户生命周期价值

袋鼠云数栈

数据模型 生命周期管理 智能标签 AIPL 客户管理模型

我的TiDB 学习与PCTA认证小故事

TiDB 社区干货传送门

TiDB 底层架构 学习&认证&课程

京东JD商品详情API返回值解读:数据驱动的商品研究

技术冰糖葫芦

API 编排 API 文档 API 策略 pinduoduo API

喜讯!云起无垠入选国内首个《汽车网络与数据安全行业全景图》

云起无垠

全景图

debug技巧之本地调试

不在线第一只蜗牛

技术 debug

看了这篇文章,以后就别再拿 TiDB 和 MySQL 做性能对比了

TiDB 社区干货传送门

实践案例 7.x 实践

受邀出席CCGrid 2024硬件系统和网络分论坛,天翼云再次彰显科技创新实力

编程猫

值得推荐的10+REST API测试工具

幂简集成

API REST API API 测试

TiDB 学习/认证之路

TiDB 社区干货传送门

学习&认证&课程

TiDB学习的那些事儿

TiDB 社区干货传送门

学习&认证&课程

数仓安全:数据脱敏技术深度解析

华为云开发者联盟

数据库 华为云 华为云开发者联盟 华为云GaussDB(DWS) 企业号2024年5月PK榜

金融机构的信贷风控难题

芯盾时代

金融 风控 信贷

CTO的告白:观测云终结了我们的监控混战与重构噩梦

可观测技术

什么是域名解析?一文读懂域名解析设置流程和注意事项

国科云

TiDB 学习/认证奇遇记

TiDB 社区干货传送门

学习&认证&课程

Clickhouse 在快手的大规模应用与架构改进_ArchSummit_李振炜_InfoQ精选文章