2020 Google开发者大会重磅开幕 了解详情

知乎首页已读数据万亿规模下高吞吐低时延查询系统架构设计

2019 年 8 月 17 日

知乎首页已读数据万亿规模下高吞吐低时延查询系统架构设计

QCon广州2019大会上,孙晓光讲师做了《知乎首页已读数据万亿规模下高吞吐低时延查询系统架构设计》主题演讲,主要内容如下。


演讲简介


知乎从问答起步在过去的 8 年中逐步成长为一个大规模的综合性知识内容平台,今天在知乎站上有多达 38 万个话题,超过 2800 万个问题总共收获了超过 1.3 亿个回答,同时知乎还沉淀了数量众多的优质文章、电子书以及其他付费内容。知乎通过个性化首页推荐的方式在海量的信息中高效的分发用户感兴趣的优质内容。为了避免给用户推荐重复的内容,首页会记录下所有给用户推荐过的内容长期保存。直至今天知乎已读的数据规模已超过万亿并以每天接近 30 亿的速度持续增长,实时、可靠且高效的存储和查询已读数据存在着诸多挑战。在过去的一年多已读服务的架构在承载着 40000/s 新数据写入的同时还支撑着峰值每秒 30000 条独立请求和 1200 万文档已读状态的查询,并且在大流量的冲击下响应时间依旧稳定维持在 P99 24ms 以及 P999 45ms 的低水位线。在本次演讲中我们会分享目前知乎已读服务的整体架构以及我们如何在这个架构上应对各种挑战满足业务需求,希望这个分享能为大家开拓解决类似问题的思路。


内容大纲


  1. 业务场景:知乎个性化首页利用已读过滤服务高效率分发用户未阅读过的优质内容 。

  2. 服务架构:知乎目前已读数据已经达万亿条量级并且还在以更快的加速度持续增长,而缓存系统则是万亿规模数据集高吞吐低时延的关键点。已读服务通过将缓冲智能化来应对数据频繁更新和数据高度稀疏对缓存系统在一致性和命中率方面的挑战。

  3. 原生分布式数据库的迁移代价和海量数据集下的收益。


听众受益


  1. 大量更新的海量数据缓存系统设计;

  2. 缓存一致性的考量和取舍;

  3. 原生分布式数据库的迁移成本和巨大收益。


讲师介绍


孙晓光


知乎 搜索后端负责人


知乎搜索后端负责人,目前承担知乎搜索后端架构设计以及工程团队的管理工作。曾多年从事私有云相关产品开发工作关注云原生技术,TiKV 项目 Committer。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/guangzhou/schedule


2019 年 8 月 17 日 00:00 6634

评论

发布
暂无评论
发现更多内容

Code Like Sync, Works Like Async

滴滴普惠出行

智能门禁的音视频技术应用

anyRTC开发者

音视频 WebRTC 直播 RTC

浮点数学习笔记

Liuchengz.

C语言 基本数据类型

JDK15正式发布,新增功能预览!

王磊

Java

手写一个抖音视频去水印工具,千万别刚一个程序员

程序员内点事

springboot java;

Docker Swarm 集群管理利器核心概念扫盲

哈喽沃德先生

Docker Docker Swarm 容器 容器云 容器化

我擦~字符串转字节切片后,切片的容量竟然千奇百怪

新世界杂货铺

golang 后端 后端开发

GrowingIO 智能运营产品微前端实践

GrowingIO技术专栏

微前端 智能运营

全屋智能2020第十三届(南京)国际智能家居展览会

InfoQ_caf7dbb9aa8a

共享内存原理与VCS监控采集实战

vivo互联网技术

监控 中间件 架构设计 数据采集 埋点

餐卡系统设计文档

追风

Rust闭包的虫洞穿梭

袁承兴

rust 函数式编程 闭包

Linux一键部署包,环境安装不用愁!!!

不才陈某

程序员 「Java 25周年」

Java基础知识面试题(2020最新版)

Java架构师迁哥

快讯2020第十三届亚洲国际物联网展览会-南京站

InfoQ_caf7dbb9aa8a

JDK15正式发布,划时代的ZGC同时宣布转正

YourBatman

ZGC JDK15

面试官:哪些场景会产生OOM?怎么解决?

艾小仙

Java 架构 面试 编程语言 JVM

百度大脑助力旅游场景智能解决方案落地

百度大脑

第一周作业,UML图

等燕归

Apache Pulsar 社区周报|09-05 ~ 09-11

Apache Pulsar

开源 云原生 Apache Pulsar 消息中间件

京东T8Java架构师总结整理的15w字的Java面试手册,持续更新

Java成神之路

Java 编程 程序员 面试 JVM

拓扑排序就这么回事

码农田小齐

数据结构 算法 数据结构和算法

不愧是阿里大牛,竟然熬夜写了份《Spring MVC源码笔记》还整理成了文档,赶紧收藏!

Java成神之路

Java 编程 程序员 面试 Spring MVC

关于性别

北宋

招商2020第十三届(南京)智慧城市技术与应用产品展览会

InfoQ_caf7dbb9aa8a

值得学习!阿里P8架构师“墙裂”推荐:Java程序员必读的架构书籍

Java成神之路

Java 编程 程序员 面试 书籍

正则表达式

菜鸟小sailor 🐕

爬虫

两月复习拿到阿里offer(Java开发),分享我的复习思路及资源

Java成神之路

Java 编程 程序员 面试 JVM

分布式系统:数据一致性解决方案

马迪奥

分布式事务 一致性

百度大脑事件图谱:洞察复杂世界中的事件知识

百度大脑

2020年6月最新iOS面试题总结

iOSer

ios 2020 面试题 经验总结

微服务治理平台化探索

微服务治理平台化探索

知乎首页已读数据万亿规模下高吞吐低时延查询系统架构设计-InfoQ