你在使用哪种编程语言?快来投票,亲手选出你心目中的编程语言之王 了解详情
写点什么

知乎首页已读数据万亿规模下高吞吐低时延查询系统架构设计

2019 年 8 月 17 日

知乎首页已读数据万亿规模下高吞吐低时延查询系统架构设计

QCon广州2019大会上,孙晓光讲师做了《知乎首页已读数据万亿规模下高吞吐低时延查询系统架构设计》主题演讲,主要内容如下。


演讲简介


知乎从问答起步在过去的 8 年中逐步成长为一个大规模的综合性知识内容平台,今天在知乎站上有多达 38 万个话题,超过 2800 万个问题总共收获了超过 1.3 亿个回答,同时知乎还沉淀了数量众多的优质文章、电子书以及其他付费内容。知乎通过个性化首页推荐的方式在海量的信息中高效的分发用户感兴趣的优质内容。为了避免给用户推荐重复的内容,首页会记录下所有给用户推荐过的内容长期保存。直至今天知乎已读的数据规模已超过万亿并以每天接近 30 亿的速度持续增长,实时、可靠且高效的存储和查询已读数据存在着诸多挑战。在过去的一年多已读服务的架构在承载着 40000/s 新数据写入的同时还支撑着峰值每秒 30000 条独立请求和 1200 万文档已读状态的查询,并且在大流量的冲击下响应时间依旧稳定维持在 P99 24ms 以及 P999 45ms 的低水位线。在本次演讲中我们会分享目前知乎已读服务的整体架构以及我们如何在这个架构上应对各种挑战满足业务需求,希望这个分享能为大家开拓解决类似问题的思路。


内容大纲


  1. 业务场景:知乎个性化首页利用已读过滤服务高效率分发用户未阅读过的优质内容 。

  2. 服务架构:知乎目前已读数据已经达万亿条量级并且还在以更快的加速度持续增长,而缓存系统则是万亿规模数据集高吞吐低时延的关键点。已读服务通过将缓冲智能化来应对数据频繁更新和数据高度稀疏对缓存系统在一致性和命中率方面的挑战。

  3. 原生分布式数据库的迁移代价和海量数据集下的收益。


听众受益


  1. 大量更新的海量数据缓存系统设计;

  2. 缓存一致性的考量和取舍;

  3. 原生分布式数据库的迁移成本和巨大收益。


讲师介绍


孙晓光


知乎 搜索后端负责人


知乎搜索后端负责人,目前承担知乎搜索后端架构设计以及工程团队的管理工作。曾多年从事私有云相关产品开发工作关注云原生技术,TiKV 项目 Committer。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/guangzhou/schedule


2019 年 8 月 17 日 00:006895

评论

发布
暂无评论
发现更多内容

龙蜥专场精彩回放来了!10位技术大咖、242位开发者相聚

阿里云基础软件团队

牛客网亲测有效!牛客下载量近百万的Java程序员复盘秘籍真滴强

小Q

Java 学习 编程 架构 面试

Patract启动ink!和Ask!的标准库项目Metis,快速构建Wasm智能合约

Patract

智能合约 polkadot Patract Wasm

大数据好书推荐

五分钟学大数据

Gavin Wood: Wasm是智能合约的未来,“历史”EVM只是当下

Patract

polkadot Patract

ipfs挖矿排行榜怎么样?ipfs算力排行榜怎么样?

投资矿机v:IPFS1234

ipfs挖矿排行榜怎么样 ipfs算力排行榜怎么样

你想进大厂吗?阿里Java面试“内幕”分享

Java架构师迁哥

5月Patract 开放联盟新增Crust、NFTMart、Cycan、Polka.Warriors、BML等成员加入

Patract

智能合约 polkadot Patract Wasm

《原则》(三)

Changing Lin

做了5年后端研发,靠着这份面试题跟答案,我从12K变成了30K

神奇小汤圆

Java 程序员 架构 面试

ipfs挖矿多少钱一台?ipfs矿机多少钱一台?

投资矿机v:IPFS1234

IPFS矿机多少钱一台 ipfs挖矿多少钱一台

defi流动性系统开发案例详情丨defi流动性源码功能

系统开发咨询1357O98O718

联邦计算在百度观星盘的实践

百度Geek说

五年开发!三面字节,27k*17offer,原来也没那么难

神奇小汤圆

Java 程序员 架构 面试

百度搜索与推荐引擎的云原生改造

百度开发者中心

云原生

23种设计模式,正确的解读方式原来是这样

Java架构师迁哥

系统性思维 系统之美1

张老蔫

28天写作

fil币价格预测?filecoin价格能达到多少?

v:IPFS456

filecoin价格今日行情 fil币价格预测? filecoin价格能达到多少?

2021金三银四面试经历:腾讯三面落马+拒网易、CVTE后,字节四面成功拿下offer

云流

Java 程序员 架构 面试

OGA 联盟正式成立!禅道作为理事单位助力共建开源生态!

禅道项目管理

项目管理 DevOps gitlab

反洗钱监管再度升级,看这家金融集团如何应对

索信达控股

银行 金融监管 风险管理 数据管理 银行大数据

defi流动性挖矿系统开发(案例版)丨defi流动性挖矿源码现成版

系统开发咨询1357O98O718

百度开发者中心全新升级 | 文末六一送福利

百度开发者中心

百度 福利

从零开始学习3D可视化之控制对象(2)

森友小锘

可视化 数据化 3D 3D可视化

分享:在阿里做Java开发的这五年,收获与感悟

Java架构师迁哥

拍乐云推出业内首个「线上美术教学音视频方案」,打造极致互动体验

拍乐云Pano

官宣!禅道与极狐(GitLab)达成深度合作,携手推进开源开放DevOps生态发展

禅道项目管理

项目管理 DevOps gitlab

新大陆!阿里P9整理出:Java架构师“成长笔记”共计23版块

Java架构师迁哥

一个 println 竟然比 volatile 还好使?

Java架构师

Java volatile

持续测试 | 测试流程提效:在 CODING 中实践迭代内的持续测试

CODING DevOps

测试计划 CODING DevOps 持续测试 迭代式测试

阿里Offer直通车!阿里Java面试“内幕”:十万字内部面试题总结(2021最新版)全网开源!

Java王路飞

Java spring 程序员 架构 面试

PingCAP DevCon 现场直播

PingCAP DevCon 现场直播

知乎首页已读数据万亿规模下高吞吐低时延查询系统架构设计-InfoQ