构建动态并响应实时用户行为的Pinterest_最佳实践_刘波



 写点什么

在ArchSummit北京2018大会上，刘波讲师做了《构建动态并响应实时用户行为的 Pinterest》主题演讲，主要内容如下。

演讲简介：

Pinterest 的使命是帮助用户发现并尝试他们喜爱的事物。在过去的三年里，Pinterest 的系统架构发生了巨大的改变。三年前，绝大部分 Pinterest 产品的内容都是由离线 Job 预先生成。目前，Pinterest 通过各类产品所展现给用户的内容全部经由后台系统在线生成，并且能够自动的根据用户实时行为进行动态调整。另外，过去三年高速增长的用户数量和产品复杂度也对系统提出了更苛刻的需求。

本次演讲将介绍 Pinterest 系统在过去三年里的演进过程，展示当前整体系统的架构。该架构对内容分发型互联网产品将具有借鉴意义。另外，本演讲将着重介绍其中几个主要系统的架构设计与技术难点，例如机器学习模型在线 Serving Platform 的架构设计，RocksDB 的实时数据复制，机器学习模型的 CPU 性能优化等。

演讲提纲：

Pinterest 的几类主要产品（Following Feed、推荐和 Topic Feed 等）
支撑这些产品的一系列系统在过去三年里的演进过程
机器学习模型在线 Serving Platform 的架构
RocksDB 的实时数据复制策略
有状态服务的应用层集群管理
一些解决过的技术难点和踩过的坑

听众受益点：

大规模内容分发型互联网产品整体架构设计经验
机器学习模型在线 Serving Platform 的架构设计经验
基于单机存储引擎（如 RocksDB）搭建各类大规模在线分布式有状态服务系统的经验

讲师介绍：

刘波

Pinterest 基础架构部软件工程经理

现就职于基础架构部门，具有丰富的大规模在线分布式数据系统的设计与开发经验。从零开始设计并开源了 Pinterest 的 C++ 核心库 Rocksplicator（包含实时数据复制，应用层集群自动管理，底层客户端库，弹性路由，统计报告等）。在 Rocksplicator 的基础上，他带领团队设计并开发了十余个应用于不同场景的分布式系统，包括机器学习模型在线 Serving Platform，基于 RocksDB 的 Feed 系统、Counter 系统、实时用户事件 tracking 系统， KV 系统等。这些系统为绝大部分 Pinterest 产品提供服务，包括 Homefeed、广告、搜索、推荐、增长、Spam 检测等。

加入 Pinterest 之前，刘波曾在 Facebook 开发分布式图数据库系统 TAO。TAO 负责整个 Facebook 社交图的存储与在线访问，支持超过 100 亿每秒的请求。刘波在获得博士学位后做过一段时间的教学和学术研究工作。