NVIDIA 初创加速计划,免费加速您的创业启动 了解详情
写点什么

Clickhouse 在快手的大规模应用与架构改进

  • 2020-02-05
  • 本文字数:585 字

    阅读完需:约 2 分钟

Clickhouse 在快手的大规模应用与架构改进

ArchSummit 北京 2019 大会上,李振炜讲师做了《Clickhouse 在快手的大规模应用与架构改进》主题演讲,主要内容如下。


演讲简介


Clickhouse 作为一款高性能 OLAP 引擎,在快手内部有大量的应用,但是随着 Clickhouse 集群的规模越来越大,原生 Clickhouse 扩展遇到了瓶颈,并且运维压力也很大。因此实现了 Clickhouse on HDFS 的架构,实现计算和存储分离,海量数据的管理依靠成熟的 HDFS 系统,同时保留 Clickhouse 优异的查询计算性能。Clickhouse on HDFS 上线之后,可以轻松扩展 Clickhouse 的集群规模,实现在海量数据下大规模推广应用。


内容大纲


  1. Clickhouse 在快手的应用现状

  2. Clickhouse on HDFS

  3. Clickhouse 的痛点

  4. Clickhouse on HDFS 的方案设计

  5. Clickhouse on HDFS 的对比测试

  6. 后续 Clickhouse 改进计划


听众受益点


  1. 了解 Clickhouse 在快手的应用场景

  2. 了解快手对 Clickhouse 的一些改进

  3. 分享 Clickhouse 在快手的实践,提供一些可借鉴经验


讲师介绍


李振炜


快手 数据平台部 大数据架构工程师


2015 年硕士毕业后进入奇虎 360,主要负责维护推广 Spark,经历了 Spark 在公司内部从 0 到 1 的发展,实现了 Hive 向 Spark SQL 的迁移;2018 年加入快手数据平台部数据架构组,目前主要负责 Clickhouse 在公司内部的推广与应用。有丰富的分布式计算系统在海量数据场景下的优化经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/beijing/schedule


2020-02-05 20:135389

评论 1 条评论

发布
用户头像
有开源的计划吗
2021-02-02 08:13
回复
没有更多了
发现更多内容

7 个使用生成式 AI 构建的项目

3D建模设计

生成式AI

揭秘ChatGPT,如何打造自己的自定义指令 | 京东云技术团队

京东科技开发者

自定义指令 大语言模型 chatgpt app 企业号 8 月 PK 榜

浅析Java - SPI机制 | 京东云技术团队

京东科技开发者

Java 后端 spi 企业号 8 月 PK 榜

快乐开源活动全面升级!提PR,赢PS5、Switch等缤纷好礼

飞桨PaddlePaddle

人工智能 百度飞桨

什么是数字孪生?

3D建模设计

数字孪生

Comparing WiFi Performance: IPQ5018 vs IPQ4019/IPQ4029 SoMs

wallyslilly

IPQ4019 ipq4029 ipq5018

深入MaxCompute -第十一弹 -QUALIFY

阿里云大数据AI技术

大数据

开源图形驱动在OpenHarmony上的使用和落地

OpenHarmony开发者

OpenHarmony

Xmind for Mac(思维导图软件) 23.08中文激活版

mac

XMind 思维导图软件 苹果mac Windows软件

生成式AI:提高生产力,重塑未来行业

百度开发者中心

人工智能 ChatGPT 生成式AI 文心一言

高效构建实时数仓:探秘NineData数据复制技术

NineData

数据库 大数据 实时数仓 数据复制 迁移指南

关于我为什么要用微前端这件事

这我可不懂

架构 前端开发 微前端

机场数据安全三步走战略|盾见

极盾科技

数据安全

云密一体,京东云密码资源池实力守护安全防线

京东科技开发者

云原生 网络安全 密码安全 企业号 8 月 PK 榜

点对点传输技术可实现更大的文件传输

镭速

大文件传输 点对点传输

Ascend C保姆级教程:我的第一份Ascend C代码

华为云开发者联盟

人工智能 华为云 昇腾 华为云开发者联盟 企业号 8 月 PK 榜

本文介绍如何使用 Three.js 库在边界框和球体之间实现冲突检测。假设在阅读本文之前,您已经先阅读了我们的 3D 碰撞检测介绍性文章,并了解了 Three.js 的基本知识。

3D建模设计

3D

生成式AI:全球传媒软件市场的璀璨新星

百度开发者中心

人工智能 媒体 生成式AI 文心一言

Java单元测试及常用语句 | 京东物流技术团队

京东科技开发者

Mockito 测试 单元测试 企业号 8 月 PK 榜 Java单元测试

一文带你了解跨境数据传输和隐私

镭速

跨境数据传输

PoseiSwap 开启“Poseidon”池,治理体系或将全面开启

威廉META

KaiwuDB 助力能源企业实现 4 大价值提升

KaiwuDB

KaiwuDB 分布式储能

一篇文章看懂 JavaScript 如何实现继承

树上有只程序猿

JavaScript proto

生成式人工智能能否使数字孪生在能源和公用事业行业成为现实?

3D建模设计

数字孪生 生成式AI

人工智能改善生活:不同受众的定制化应用

测吧(北京)科技有限公司

软件测试/测试开发丨Python 内置库 正则表达式

测试人

Python 正则表达式 程序员 软件测试 自动化测试

英语学习工具分享 Eudic欧路词典 for Mac激活中文

mac大玩家j

Mac软件 英语学习工具 学习软件

使用 THREE.js 进行边界体积碰撞检测

3D建模设计

three.js 碰撞检测

【稳定性】揭秘团队快速排查问题的三字经,你学会了吗? | 京东物流技术团队

京东科技开发者

团队 线上故障 故障排查 企业号 8 月 PK 榜

软件测试 | 人工智能:优势与挑战

测吧(北京)科技有限公司

测试

生成式AI艺术创新

百度开发者中心

人工智能 生成式AI 文心一言

Clickhouse 在快手的大规模应用与架构改进_ArchSummit_李振炜_InfoQ精选文章