GMTC 全球大前端技术大会(北京站)门票 9 折特惠购票最后 10 天,点击立减 ¥480 了解详情
写点什么

知乎首页已读数据万亿规模下高吞吐低时延查询系统架构设计

2019 年 8 月 17 日

知乎首页已读数据万亿规模下高吞吐低时延查询系统架构设计

QCon广州2019大会上,孙晓光讲师做了《知乎首页已读数据万亿规模下高吞吐低时延查询系统架构设计》主题演讲,主要内容如下。


演讲简介


知乎从问答起步在过去的 8 年中逐步成长为一个大规模的综合性知识内容平台,今天在知乎站上有多达 38 万个话题,超过 2800 万个问题总共收获了超过 1.3 亿个回答,同时知乎还沉淀了数量众多的优质文章、电子书以及其他付费内容。知乎通过个性化首页推荐的方式在海量的信息中高效的分发用户感兴趣的优质内容。为了避免给用户推荐重复的内容,首页会记录下所有给用户推荐过的内容长期保存。直至今天知乎已读的数据规模已超过万亿并以每天接近 30 亿的速度持续增长,实时、可靠且高效的存储和查询已读数据存在着诸多挑战。在过去的一年多已读服务的架构在承载着 40000/s 新数据写入的同时还支撑着峰值每秒 30000 条独立请求和 1200 万文档已读状态的查询,并且在大流量的冲击下响应时间依旧稳定维持在 P99 24ms 以及 P999 45ms 的低水位线。在本次演讲中我们会分享目前知乎已读服务的整体架构以及我们如何在这个架构上应对各种挑战满足业务需求,希望这个分享能为大家开拓解决类似问题的思路。


内容大纲


  1. 业务场景:知乎个性化首页利用已读过滤服务高效率分发用户未阅读过的优质内容 。

  2. 服务架构:知乎目前已读数据已经达万亿条量级并且还在以更快的加速度持续增长,而缓存系统则是万亿规模数据集高吞吐低时延的关键点。已读服务通过将缓冲智能化来应对数据频繁更新和数据高度稀疏对缓存系统在一致性和命中率方面的挑战。

  3. 原生分布式数据库的迁移代价和海量数据集下的收益。


听众受益


  1. 大量更新的海量数据缓存系统设计;

  2. 缓存一致性的考量和取舍;

  3. 原生分布式数据库的迁移成本和巨大收益。


讲师介绍


孙晓光


知乎 搜索后端负责人


知乎搜索后端负责人,目前承担知乎搜索后端架构设计以及工程团队的管理工作。曾多年从事私有云相关产品开发工作关注云原生技术,TiKV 项目 Committer。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/guangzhou/schedule


2019 年 8 月 17 日 00:006844

评论

发布
暂无评论
发现更多内容

Nacos源码编译

程序员Fox

nacos

学习感恩

谷鱼

基于Segment Routing技术构建新一代骨干网:智能、可靠、可调度(一)

UCloud技术

云计算 网络 云网络

基于Segment Routing技术构建新一代骨干网:智能、可靠、可调度(二)

UCloud技术

云计算 运维 云网络

冰河去腾讯了?

冰河

程序员 程序人生 冰河 冰河技术

100+标杆案例和1个减法:华为“懂行100”给2021带来了什么?

脑极体

Seata1.4.0源码编译

程序员Fox

seata

拆散的乐高怎么装起来

李小腾

5G专网是个大西瓜(二):碰撞之谜

脑极体

Linux-Lab 入门:详细步骤分解

贾献华

Linux 嵌入式 Linux Kenel 开发板 boot

SpringCloud 从入门到精通17---Sentinel降级/热点规则

Felix

产品经理训练营-第三周作业

羽室

非科班Java面试快手三面,如果不是疫情,offer已经到手了

Java架构之路

Java 程序员 架构 面试 编程语言

黄际洲获CCF优秀博士学位论文奖 搜索推荐技术创新成果显著

爱极客侠

【盘点2020】连续8个月霸榜,年度最佳公有云竟然是它?

博睿数据

区块链时代,企业如何构筑竞争力的护城河?

CECBC区块链专委会

区块链

javascript脚本何时会被执行

互联网架构师小马

Java JavaScript html

💯 关于 TCP 三次握手和四次挥手,满分回答在此

飞天小牛肉

面试 后端 计算机网络 TCP/IP 2月春节不断更

游戏夜读 | 游戏中的确定性

game1night

硬盘的秘密

yes

机械硬盘

全面提升企业的主动防御能力,UCloud全新架构云安全中心正式公测!

UCloud技术

网络安全 恶意解析 云安全 安全漏洞

链上公开透明 链下迷雾重重 区块天眼能否拨开行业疑云

CECBC区块链专委会

区块链

硬核!阿里新产2021最新版面试手册,Github上获赞89.7K

程序员小毕

Java 程序员 面试 分布式 JVM

官宣 | Atlassian 针对中国市场推出适用于所有团队的本地化部署方案!

Atlassian

项目管理 DevOps 敏捷 Atlassian Jira

深入理解nodejs的HTTP处理流程

程序那些事

node.js HTTP 异步编程 程序那些事

商务部发力数字商务:鼓励企业开展区块链等先进技术创新应用

CECBC区块链专委会

区块链

Spark+Kafka实时监控Oracle数据预警

互联网架构师小马

数据库 oracle 大数据 kafka spark

日记 2021年2月3日(周三)

Changing Lin

个人感悟 2月春节不断更

5 个最值得注意的开源集中式日志管理工具

有理想的coder

Linux 日志 性能监控 日志监控

阿里P8MySQL,基础/索引/锁/日志/调优都不误,一锅深扒端给你

Crud的程序员

MySQL 程序员

公布半小时下载量达10W:阿里大牛出品「MyCat笔记」真香

周老师

Java 编程 程序员 架构 面试

openEuler Developer Day 2021

openEuler Developer Day 2021

知乎首页已读数据万亿规模下高吞吐低时延查询系统架构设计-InfoQ