写点什么

知乎首页已读数据万亿规模下高吞吐低时延查询系统架构设计

  • 2019-08-17
  • 本文字数:829 字

    阅读完需:约 3 分钟

知乎首页已读数据万亿规模下高吞吐低时延查询系统架构设计

QCon广州2019大会上,孙晓光讲师做了《知乎首页已读数据万亿规模下高吞吐低时延查询系统架构设计》主题演讲,主要内容如下。


演讲简介


知乎从问答起步在过去的 8 年中逐步成长为一个大规模的综合性知识内容平台,今天在知乎站上有多达 38 万个话题,超过 2800 万个问题总共收获了超过 1.3 亿个回答,同时知乎还沉淀了数量众多的优质文章、电子书以及其他付费内容。知乎通过个性化首页推荐的方式在海量的信息中高效的分发用户感兴趣的优质内容。为了避免给用户推荐重复的内容,首页会记录下所有给用户推荐过的内容长期保存。直至今天知乎已读的数据规模已超过万亿并以每天接近 30 亿的速度持续增长,实时、可靠且高效的存储和查询已读数据存在着诸多挑战。在过去的一年多已读服务的架构在承载着 40000/s 新数据写入的同时还支撑着峰值每秒 30000 条独立请求和 1200 万文档已读状态的查询,并且在大流量的冲击下响应时间依旧稳定维持在 P99 24ms 以及 P999 45ms 的低水位线。在本次演讲中我们会分享目前知乎已读服务的整体架构以及我们如何在这个架构上应对各种挑战满足业务需求,希望这个分享能为大家开拓解决类似问题的思路。


内容大纲


  1. 业务场景:知乎个性化首页利用已读过滤服务高效率分发用户未阅读过的优质内容 。

  2. 服务架构:知乎目前已读数据已经达万亿条量级并且还在以更快的加速度持续增长,而缓存系统则是万亿规模数据集高吞吐低时延的关键点。已读服务通过将缓冲智能化来应对数据频繁更新和数据高度稀疏对缓存系统在一致性和命中率方面的挑战。

  3. 原生分布式数据库的迁移代价和海量数据集下的收益。


听众受益


  1. 大量更新的海量数据缓存系统设计;

  2. 缓存一致性的考量和取舍;

  3. 原生分布式数据库的迁移成本和巨大收益。


讲师介绍


孙晓光


知乎 搜索后端负责人


知乎搜索后端负责人,目前承担知乎搜索后端架构设计以及工程团队的管理工作。曾多年从事私有云相关产品开发工作关注云原生技术,TiKV 项目 Committer。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/guangzhou/schedule


2019-08-17 00:009765

评论

发布
暂无评论
发现更多内容

敏捷开发模式下如何快速提升产品质量

敏捷开发

敏捷 敏捷开发 软件测试

webpack高级配置

Geek_02d948

webpack

前端懒加载和预加载

hellocoder2029

JavaScript

决策树-交叉验证

烧灯续昼2002

Python 机器学习 算法 sklearn 11月月更

vue实战-深入响应式数据原理

yyds2026

Vue

数据中台的终点是DataOps还是DaaS?

雨果

数据中台 DataOps DaaS

【C语言】auto 关键字

謓泽

11月月更

腾讯WeTest七年路,中国“质”造向未来

极客天地

从历史讲起,JavaScript 基因里写着函数式编程

掘金安东尼

前端 11月月更

体验一把 Flowable 三种常见网关

江南一点雨

Java spring springboot flowable JavaEE

vue的几个提效技巧

yyds2026

Vue

深度阐述Nodejs模块机制

coder2028

node.js

文盘Rust -- 把程序作为守护进程启动

京东科技开发者

rust 后端 进程 守护进程 rust语言

SAP UI5 BarcodeScannerButton 的初始化逻辑 - feature 检测,Cordova API 检测等逻辑

汪子熙

前端开发 Fiori SAP UI5 ui5 11月月更

vue—render函数

格斗家不爱在外太空沉思

vue.js Vue 11月月更

超级App们有一个共同的技术特点

Onegun

小程序容器 超级app 小程序化

“企业级零代码黑客马拉松”决赛圆满落幕

明道云

黑客 零代码 无代码 黑客马拉松 黑客松

快出数量级的性能是怎样炼成的 审核中

jiangxl

数据标准化红宝书权威发布!一文速读核心内容~~

博文视点Broadview

Laravel-文件上传下载

格斗家不爱在外太空沉思

php laravel 11月月更

在数据增强、蒸馏剪枝下ERNIE3.0分类模型性能提升

汀丶人工智能

nlp 文本分类 11月月更 ernie

令人头疼的Javascript隐式&强制转换

hellocoder2029

JavaScript

一文彻底读懂webpack常用配置

Geek_02d948

webpack

Vue-组件详解

格斗家不爱在外太空沉思

vue.js 组件化 11月月更

你需要知道的webpack高频面试题

Geek_02d948

webpack

理解NodeJS多进程

coder2028

node.js

【LeetCode】被围绕的区域Java题解

Albert

算法 LeetCode 11月月更

一文读懂加密资产板块的盈利潜力与投资机会

西柚子

深聊Nodejs模块化

coder2028

node.js

计算机网络:数据报与虚电路

timerring

计算机网络 11月月更 数据报 虚电路

vue实战中的一些小技巧

yyds2026

Vue

知乎首页已读数据万亿规模下高吞吐低时延查询系统架构设计_QCon_孙晓光_InfoQ精选文章