2天时间,聊今年最热的 Agent、上下文工程、AI 产品创新等话题。2025 年最后一场~ 了解详情
写点什么

Clickhouse 在快手的大规模应用与架构改进

  • 2020-02-05
  • 本文字数:585 字

    阅读完需:约 2 分钟

Clickhouse 在快手的大规模应用与架构改进

ArchSummit 北京 2019 大会上,李振炜讲师做了《Clickhouse 在快手的大规模应用与架构改进》主题演讲,主要内容如下。


演讲简介


Clickhouse 作为一款高性能 OLAP 引擎,在快手内部有大量的应用,但是随着 Clickhouse 集群的规模越来越大,原生 Clickhouse 扩展遇到了瓶颈,并且运维压力也很大。因此实现了 Clickhouse on HDFS 的架构,实现计算和存储分离,海量数据的管理依靠成熟的 HDFS 系统,同时保留 Clickhouse 优异的查询计算性能。Clickhouse on HDFS 上线之后,可以轻松扩展 Clickhouse 的集群规模,实现在海量数据下大规模推广应用。


内容大纲


  1. Clickhouse 在快手的应用现状

  2. Clickhouse on HDFS

  3. Clickhouse 的痛点

  4. Clickhouse on HDFS 的方案设计

  5. Clickhouse on HDFS 的对比测试

  6. 后续 Clickhouse 改进计划


听众受益点


  1. 了解 Clickhouse 在快手的应用场景

  2. 了解快手对 Clickhouse 的一些改进

  3. 分享 Clickhouse 在快手的实践,提供一些可借鉴经验


讲师介绍


李振炜


快手 数据平台部 大数据架构工程师


2015 年硕士毕业后进入奇虎 360,主要负责维护推广 Spark,经历了 Spark 在公司内部从 0 到 1 的发展,实现了 Hive 向 Spark SQL 的迁移;2018 年加入快手数据平台部数据架构组,目前主要负责 Clickhouse 在公司内部的推广与应用。有丰富的分布式计算系统在海量数据场景下的优化经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/beijing/schedule


2020-02-05 20:136042

评论 1 条评论

发布
用户头像
有开源的计划吗
2021-02-02 08:13
回复
没有更多了
发现更多内容

iPaaS落地实战:从规划到上线只需四步

谷云科技RestCloud

数据处理 数据传输 集成平台 ipaas

告别繁琐手动操作!让批量创建AD用户变得如此简单

运维有小邓

AD域 AD域管理

HarmonyOS NEXT应用接续开发指南(基础)

最新动态

HarmonyOS NEXT实战:构建智能家居分布式协同系统

最新动态

构建高效AI代理的完整指南:从基础组件到生产级工作流

qife122

开源工具 LLM AI代理

车企数据治理平台化实战:从数据孤岛到全链路治理的架构演进

袋鼠云数栈

Ivanti EPM移动版12.5.0.0身份验证绕过漏洞分析与利用

qife122

漏洞利用 远程代码执行

HarmonyOS NEXT分布式管理核心功能解析:网络服务和数据传输的实现

最新动态

鸿蒙NEXT应用本地化:多语言新闻阅读应用

最新动态

从开放重定向到XSS:漏洞升级实战

qife122

网络安全 xss攻击

鸿蒙NEXT应用本地化:多语言电商平台

最新动态

OMS 对接 API 接口:打通物流查询能力,让订单管理从 “管单” 到 “全链可控”

快递鸟

漏洞挖掘实战解析:Ads Dawson的BugBoss发现之旅

qife122

网络安全 渗透测试

华为鸿蒙嵌入式 UI 扩展组件:跨越界限的舞台

最新动态

Java与AI大模型在招聘网站岗位各占半壁江山!Java程序员还有机会吗?该如何突击?

程序员高级码农

Java Java 面试

鸿蒙IME Kit高级开发:共享沙箱机制与输入法数据传输

最新动态

MES如何实现高效排产?其生产计划功能与底层技术架构

万界星空科技

数字化转型 mes 万界星空科技mes AI智能化MES

全域舆情监测无死角:海外社交媒体监控的精准布控与监测策略

沃观Wovision

社交媒体 海外舆情监控 沃观Wovision 舆情监测系统

HarmonyOS的连接艺术之四:便捷访问系统功能

最新动态

从AI驱动到量子通信的新时代

知孤云出岫

通信

鸿蒙自定义编辑框与共享沙箱实现个性化输入法与编辑框的交互

最新动态

HarmonyOS NEXT与安卓开发对比及迁移指南

最新动态

使用「水印抹布」实现Instagram视频无水印下载的解决方案

So...

Instagram

Linux环境下 代码java调用python出错

刘大猫

人工智能 云计算 大数据 算法 物联网

HarmonyOS NEXT自由流转能力解析(基础)

最新动态

在AI技术唾手可得的时代,挖掘新需求成为核心竞争力——某知名云开发框架需求探索

qife122

云开发 AI技术

JeecgBoot低代码 v3.8.3 大版本发布,组织架构革新+全面迈向 Spring Boot 3 时代

JEECG低代码

低代码 SpringBoot3 JeecgBoot AI低代码平台

制造业中的多系统困境,如何通过iPaaS“破解”

谷云科技RestCloud

数据处理 数据传输 制造业 ipaas CDC同步

HarmonyOS的连接艺术之一:让应用之间无缝协作

最新动态

HarmonyOS的连接艺术之二:精准控制目标应用

最新动态

低代码 “应用中心” 实操指南:从创建到删除的全流程解析

引迈信息

Clickhouse 在快手的大规模应用与架构改进_ArchSummit_李振炜_InfoQ精选文章