2天时间,聊今年最热的 Agent、上下文工程、AI 产品创新等话题。2025 年最后一场~ 了解详情
写点什么

Clickhouse 在快手的大规模应用与架构改进

  • 2020-02-05
  • 本文字数:585 字

    阅读完需:约 2 分钟

Clickhouse 在快手的大规模应用与架构改进

ArchSummit 北京 2019 大会上,李振炜讲师做了《Clickhouse 在快手的大规模应用与架构改进》主题演讲,主要内容如下。


演讲简介


Clickhouse 作为一款高性能 OLAP 引擎,在快手内部有大量的应用,但是随着 Clickhouse 集群的规模越来越大,原生 Clickhouse 扩展遇到了瓶颈,并且运维压力也很大。因此实现了 Clickhouse on HDFS 的架构,实现计算和存储分离,海量数据的管理依靠成熟的 HDFS 系统,同时保留 Clickhouse 优异的查询计算性能。Clickhouse on HDFS 上线之后,可以轻松扩展 Clickhouse 的集群规模,实现在海量数据下大规模推广应用。


内容大纲


  1. Clickhouse 在快手的应用现状

  2. Clickhouse on HDFS

  3. Clickhouse 的痛点

  4. Clickhouse on HDFS 的方案设计

  5. Clickhouse on HDFS 的对比测试

  6. 后续 Clickhouse 改进计划


听众受益点


  1. 了解 Clickhouse 在快手的应用场景

  2. 了解快手对 Clickhouse 的一些改进

  3. 分享 Clickhouse 在快手的实践,提供一些可借鉴经验


讲师介绍


李振炜


快手 数据平台部 大数据架构工程师


2015 年硕士毕业后进入奇虎 360,主要负责维护推广 Spark,经历了 Spark 在公司内部从 0 到 1 的发展,实现了 Hive 向 Spark SQL 的迁移;2018 年加入快手数据平台部数据架构组,目前主要负责 Clickhouse 在公司内部的推广与应用。有丰富的分布式计算系统在海量数据场景下的优化经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/beijing/schedule


2020-02-05 20:136011

评论 1 条评论

发布
用户头像
有开源的计划吗
2021-02-02 08:13
回复
没有更多了
发现更多内容

数字化转角,遇见未来新模式

鼎道智联

美团二面:Redis 究竟是单线程还是多线程?

Java 数据库 redis 缓存 单线程

阿里内网「MySQL面试小册」,简直太香了!

Java MySQL 数据库 面试

云服务器建站教程:Centos-7.2部署LNMP环境

百度开发者中心

云服务器,

DAPP/伪DAPP区块链智能合约系统开发(成熟技术)

I8O28578624

Windows2008与Windows2012下使用IIS服务搭建网站

百度开发者中心

windows IIS 云服务器

京东二面,Redis为什么这么快?

Java 数据库 redis 缓存 面试

CNStack 助推龙源电力扛起“双碳”大旗

阿里巴巴云原生

阿里云 云原生 CNStack

云服务器建站教程:云服务器部署SSL证书-Nginx

百度开发者中心

centos 云服务器

云服务器建站教程:云服务器部署SSL证书-Apache

百度开发者中心

centos 云服务器 LAMP

23年国内最牛的Java面试八股文合集(全彩版),不接受反驳

Java java面试 Java八股文 Java面试题 Java面试八股文

网易云信 Crash 异常治理实践 | 智企技术委员会技术专题系列

网易智企

系统设计 异常处理

关于微服务系统中数据一致性的总结

Java 微服务 数据一致性

网易云信 Crash 异常治理实践 | 智企技术委员会技术专题系列

网易云信

系统设计 异常处理

演讲实录|AI 数据库的内存优化之路

第四范式开发者社区

人工智能 机器学习 数据库 开源 特征

我的天,你还不会搭建ChatGPT微应用吗?| 社区征文

三掌柜

人工智能 openai ChatGPT

Linux系统搭建FTP服务

百度开发者中心

ftp服务

选对调度器,让你的设备“纵享丝滑”

鼎道智联

算法 cpu ESA

GitHub破千Star!Java多线程编程实战指南:核心篇+设计模式篇

Java 并发编程 多线程

直播预告 | 倒计时一天,博睿数据联合统信软件同心生态联盟举办金融信创应用实践线上直播

博睿数据

可观测性 直播 智能运维 博睿数据 金融信创

瓴羊Quick BI是一款成熟产品,数据可视化功能优势明显!

夏日星河

2022中国低代码全景产业研究报告

人称T客

数据库大牛推荐的《MySQL》书籍,值得反复阅读

NineData

MySQL 程序员 书籍推荐 MySQL 高可用 学习MySQL

最佳实践 | 使用WebSocket做个实时人脸活体比对服务

牵着蜗牛去散步

人工智能 腾讯 最佳实践 腾讯云智能 慧眼人脸核身

黑盒测试方法—等价类划分法

测吧(北京)科技有限公司

测试

Clickhouse 在快手的大规模应用与架构改进_ArchSummit_李振炜_InfoQ精选文章