写点什么

知乎首页已读数据万亿规模下高吞吐低时延查询系统架构设计

  • 2019-08-17
  • 本文字数:829 字

    阅读完需:约 3 分钟

知乎首页已读数据万亿规模下高吞吐低时延查询系统架构设计

QCon广州2019大会上,孙晓光讲师做了《知乎首页已读数据万亿规模下高吞吐低时延查询系统架构设计》主题演讲,主要内容如下。


演讲简介


知乎从问答起步在过去的 8 年中逐步成长为一个大规模的综合性知识内容平台,今天在知乎站上有多达 38 万个话题,超过 2800 万个问题总共收获了超过 1.3 亿个回答,同时知乎还沉淀了数量众多的优质文章、电子书以及其他付费内容。知乎通过个性化首页推荐的方式在海量的信息中高效的分发用户感兴趣的优质内容。为了避免给用户推荐重复的内容,首页会记录下所有给用户推荐过的内容长期保存。直至今天知乎已读的数据规模已超过万亿并以每天接近 30 亿的速度持续增长,实时、可靠且高效的存储和查询已读数据存在着诸多挑战。在过去的一年多已读服务的架构在承载着 40000/s 新数据写入的同时还支撑着峰值每秒 30000 条独立请求和 1200 万文档已读状态的查询,并且在大流量的冲击下响应时间依旧稳定维持在 P99 24ms 以及 P999 45ms 的低水位线。在本次演讲中我们会分享目前知乎已读服务的整体架构以及我们如何在这个架构上应对各种挑战满足业务需求,希望这个分享能为大家开拓解决类似问题的思路。


内容大纲


  1. 业务场景:知乎个性化首页利用已读过滤服务高效率分发用户未阅读过的优质内容 。

  2. 服务架构:知乎目前已读数据已经达万亿条量级并且还在以更快的加速度持续增长,而缓存系统则是万亿规模数据集高吞吐低时延的关键点。已读服务通过将缓冲智能化来应对数据频繁更新和数据高度稀疏对缓存系统在一致性和命中率方面的挑战。

  3. 原生分布式数据库的迁移代价和海量数据集下的收益。


听众受益


  1. 大量更新的海量数据缓存系统设计;

  2. 缓存一致性的考量和取舍;

  3. 原生分布式数据库的迁移成本和巨大收益。


讲师介绍


孙晓光


知乎 搜索后端负责人


知乎搜索后端负责人,目前承担知乎搜索后端架构设计以及工程团队的管理工作。曾多年从事私有云相关产品开发工作关注云原生技术,TiKV 项目 Committer。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/guangzhou/schedule


2019-08-17 00:009803

评论

发布
暂无评论
发现更多内容

云上解锁Web3.0 阿里云XR平台助力彼真科技呈现沉浸式演唱会

阿里云弹性计算

XR 视觉计算 虚拟演唱会

用 AnimatedBuilder 分离组件和动画,实现动效复用

岛上码农

flutter ios 安卓 移动端开发 7月月更

中车*IoTDB | 构建城市轨道交通车辆智能运维系统,应对日百万人次客流量

Apache IoTDB

小程序表单-2

小恺

7月月更

王者荣耀商城异地多活架构设计

极客土豆

密码密钥硬编码检查

华为云开发者联盟

安全 后端 密钥

Docker入门(一)

神农写代码

赛博女娲,怎么造数字人?

白洞计划

金融行业的双模核心

穿过生命散发芬芳

7月月更 双模核心

研发效能生态完整图谱&DevOps工具选型必看

laofo

DevOps cicd 研发效能 持续交付 工程效率

阿里云架构师朱波:云上高性能计算加速药物研发

阿里云弹性计算

高性能计算 生命科学 EHPC

Docsify 配合 Github Pages 搭建一个自己的云笔记

宁在春

GitHub Pages docsify 7月月更

玩转Liunx系统,看这篇文章就够了(一)

Java学术趴

7月月更

GPU资源池的虚拟化路径

Finovy Cloud

GPU服务器 显卡、gpu

【刷题记录】9. 回文数

WangNing

7月月更

新星计划Day6【数据结构与算法】 链表Part2

京与旧铺

7月月更

Java类的特性之内部类

未见花闻

7月月更

超越对齐-企业数字化转型之路

涛哥 数字产品和业务架构

企业架构 数字化转型

Istio的流量管理API

阿泽🧸

7月月更 Istio流量管理

面试前我做了这三件事,结果居然直接....

KEY.L

容错、熔断的使用与扩展

神农写代码

长安链研究笔记-IOC容器

长安链

成都 Meetup|分布式数据库 企业降本增效新引擎

OceanBase 数据库

数据库 程序员 oceanbase 分布式, 降本增效

AWS CloudTrail

冯亮

云计算 DevOps AWS

浅入浅出mybatis(三)

ES_her0

7月月更

AI简报-GAN和CGAN

AIWeker

深度学习 GAN AI简报 7月月更

老树开花——用ImageProcessor快速搭一个图床应用

为自己带盐

dotnet 7月月更

上海电信发布公共算力服务,联合华为等伙伴签订“智能算力应用联合创新中心”行动计划

极客天地

静态广播发送流程分析

北洋

android 7月月更

开发前的开胃小菜之前端开发规范🍖🍖

猪痞恶霸

前端 7月月更

Lombok 使用在 IDEA 中进行 JUnit 测试的时候提示 variable log 错误

HoneyMoose

知乎首页已读数据万亿规模下高吞吐低时延查询系统架构设计_QCon_孙晓光_InfoQ精选文章