「ArchSummit·深圳」人工智能如何促进工业和制造领域的智能化转型? >>> 了解详情
写点什么

构建动态并响应实时用户行为的 Pinterest

  • 2019-09-07
  • 本文字数:1000 字

    阅读完需:约 3 分钟

构建动态并响应实时用户行为的Pinterest

ArchSummit北京2018大会上,刘波讲师做了《构建动态并响应实时用户行为的 Pinterest》主题演讲,主要内容如下。


演讲简介


Pinterest 的使命是帮助用户发现并尝试他们喜爱的事物。在过去的三年里,Pinterest 的系统架构发生了巨大的改变。三年前,绝大部分 Pinterest 产品的内容都是由离线 Job 预先生成。目前,Pinterest 通过各类产品所展现给用户的内容全部经由后台系统在线生成,并且能够自动的根据用户实时行为进行动态调整。另外,过去三年高速增长的用户数量和产品复杂度也对系统提出了更苛刻的需求。


本次演讲将介绍 Pinterest 系统在过去三年里的演进过程,展示当前整体系统的架构。该架构对内容分发型互联网产品将具有借鉴意义。另外,本演讲将着重介绍其中几个主要系统的架构设计与技术难点,例如机器学习模型在线 Serving Platform 的架构设计,RocksDB 的实时数据复制,机器学习模型的 CPU 性能优化等。


演讲提纲


  1. Pinterest 的几类主要产品(Following Feed、推荐和 Topic Feed 等)

  2. 支撑这些产品的一系列系统在过去三年里的演进过程

  3. 机器学习模型在线 Serving Platform 的架构

  4. RocksDB 的实时数据复制策略

  5. 有状态服务的应用层集群管理

  6. 一些解决过的技术难点和踩过的坑


听众受益点


  1. 大规模内容分发型互联网产品整体架构设计经验

  2. 机器学习模型在线 Serving Platform 的架构设计经验

  3. 基于单机存储引擎(如 RocksDB)搭建各类大规模在线分布式有状态服务系统的经验


讲师介绍


刘波


Pinterest 基础架构部软件工程经理


现就职于基础架构部门,具有丰富的大规模在线分布式数据系统的设计与开发经验。从零开始设计并开源了 Pinterest 的 C++ 核心库 Rocksplicator(包含实时数据复制,应用层集群自动管理,底层客户端库,弹性路由,统计报告等)。在 Rocksplicator 的基础上,他带领团队设计并开发了十余个应用于不同场景的分布式系统,包括机器学习模型在线 Serving Platform,基于 RocksDB 的 Feed 系统、Counter 系统、实时用户事件 tracking 系统, KV 系统等。这些系统为绝大部分 Pinterest 产品提供服务,包括 Homefeed、广告、搜索、推荐、增长、Spam 检测等。


加入 Pinterest 之前,刘波曾在 Facebook 开发分布式图数据库系统 TAO。TAO 负责整个 Facebook 社交图的存储与在线访问,支持超过 100 亿每秒的请求。刘波在获得博士学位后做过一段时间的教学和学术研究工作。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/beijing/schedule


2019-09-07 08:041394

评论

发布
暂无评论
发现更多内容

基于客户真实使用场景的云剪辑Timeline问题解答与代码实操

阿里云视频云

云计算 视频云 云剪辑

内地与香港司法协助落实,对 Web3.0 行业有何影响?

TechubNews

K8s 集群可观测性-数据分流最佳实践

观测云

K8s 多集群管理

Linux命令之fg详解

百度搜索:蓝易云

云计算 Linux 运维 服务器 云服务器

@工控工程师,往这儿看!80%工控兄弟都在种草的宝藏应用,你知道几条?

AIRIOT

容器化对数据库的性能有影响吗?

小猿姐

数据库 Kubernetes 容器化

Docker里的基础术语有哪些?

百度搜索:蓝易云

Docker 云计算 运维 服务器 云服务器

淘宝app端商品详情数据采集

tbapi

投资更好的管理会计系统,探索全面预算管理的奥秘

智达方通

管理会计 全面预算管理

河南省政务民生、本地生活、新闻等垂域应用启动鸿蒙原生应用开发

最新动态

专有云 ABC Stack 联合银联商务打造金融级云平台,入选《2024 央国企上云用云典型案例》

Baidu AICLOUD

专有云 金融云

ubuntu系统安装SGE教程

百度搜索:蓝易云

Linux 运维 服务器 云服务器 SGE

喜报|博睿数据算力调度可观测平台荣获信通院“算力服务领航者计划”优秀案例

博睿数据

可观测性 运维监控

什么是HTTP劫持,有什么方案能处理

德迅云安全杨德俊

如何用NGINX实现UDP四层反向代理?

百度搜索:蓝易云

云计算 运维 服务器 udp 云服务器

金融交易系统搭建

软件资讯商GangguHK

完蛋!我把AI喂吐了!

有道技术团队

网易有道 AIGC Prompt QAnything

听懂一句AI实话,做成一件零售实事

脑极体

AI

《UNIX环境高级编程(第3版)》PDF

程序员李木子

2024-02-03:用go语言,你有 k 个背包。给你一个下标从 0 开始的整数数组 weights, 其中 weights[i] 是第 i 个珠子的重量。同时给你整数 k, 请你按照如下规则将所有

福大大架构师每日一题

福大大架构师每日一题

Linux重启网卡报错Determining if ip address怎么解决?

百度搜索:蓝易云

云计算 Linux 运维 服务器 云服务器

想好新年去哪了吗?合合信息扫描全能王用AI“留住”年味

合合技术团队

文字识别 新年计划 图像处理 合合信息 扫描全能王

论文分享:利用对象存储进行高性能数据分析

Greptime 格睿科技

数据库 rust 对象存储 时序数据库

关键词搜索拼多多商品列表数据接口Python

tbapi

拼多多API接口 关键词搜索拼多多API接口 拼多多商品列表数据接口

Qt项目第二弹-文件加解密之RSA

springIce

rsa qt openssl

EigenLayer火的原因还有介绍

币离海

以太坊 EigenLayer 质押

商汤科技日日新SenseNova 4.0发布:这⼀次,带来全新的AI体验!

Lily

新增模型检验,指标自动评估模型效果|ModelWhale 版本更新

ModelWhale

人工智能 机器学习 大数据 数据分析 模型训练

Linux中如何检查或删除文本文件重复出现的行列?

百度搜索:蓝易云

Linux 运维 云服务器 sort uniq

在线模型系统分布式异构计算演变-京东广告算法架构体系建设

京东零售技术

人工智能 机器学习 算法

【AIOps】日志分析领域难题:如何对混合日志进行自动化解析?

华为云PaaS服务小智

人工智能 软件开发 华为云

构建动态并响应实时用户行为的Pinterest_最佳实践_刘波_InfoQ精选文章