首次独家呈现 OPPO 四大创新技术实践,尽在 QCon 上海 OPPO 技术专场! 了解详情
写点什么

Google 工业风最新论文, Youtube 提出双塔结构流式模型进行大规模推荐

2020 年 3 月 19 日

Google工业风最新论文, Youtube提出双塔结构流式模型进行大规模推荐

本文主要介绍 Google 在 RecSys 2019 上的最新论文,提出了双塔结构流式模型应用于 Youtube 进行大规模推荐



介绍


工业界现有的推荐系统都需要从一个超大规模的候选集中拉取 item 进行打分排序。解决数据稀疏和指数级候选集分布的一种通常做法是从 item 的内容特征中学习出 item 的稠密表示。这里很自然地就想到了工业界大名鼎鼎且应用广泛的双塔神经网络结构,其中的一塔就是从丰富的 item 内容特征中学习到 item 的表示。


工业界目前训练双塔结构一般是通过随机 mini-batch 的方式来优化损失函数。这种训练方式存在的一个显著问题就是 in-batch loss 会因为随机采样偏差而导致模型效果不好,尤其是当样本分布出现明显倾斜的时候。我们提出了一种全新的算法,可以从流式数据中预估 item 的频率。通过理论分析和实验,新算法有能力在不知道候选集全部的词典情况下做出无偏差的估计并且可以自适应候选集分布的变化。在 Youtube 线上的实验也证明了该算法的有效性。


模型架构


我们考虑一种通用的推荐问题设定:给定一系列 query 和候选集,目标就是在给定 query 的情况下返回最相关的一个候选子集。针对这里的 query 和候选集中的 item,都可以用各自的特征向量来进行表示。在个性化推荐场景中,则是用户 user 和会话的上下文 context 构成这里的 query 侧


都知道 Youtube 的推荐架构主要分为两个阶段:召回和排序。而本文则主要聚焦于新增一路如下图所示的双塔召回。query 侧的塔是由大量的用户观看历史形成的 user features 以及共同的 seed features 构成,候选集侧的塔则是由视频特征构成。训练样本的 Label 则是由用户的点击和播放时长加权得到。



序列式训练


Youtube 的训练数据按天依次产生,训练数据以 streaming 的方式喂给分布式训练集群。这样模型就可以自动学习并适应最新数据分布的变化。训练算法如下图所示,当收到一个 batch 的训练样本时,首先针对候选集的 item 进行采样概率预测,然后根据预测的采样概率构建损失函数,最后迭代训练即可。



流式频率预估的算法如下图所示。由于候选集 item 的词典不是固定的,时刻都会有新的 item 产生。因此这里针对 item 使用 hash 函数做了一个映射。针对一个指定的候选 item y,A 表示 y 被采样最近一次步骤,B 则表示 y 的预估频率。一旦候选 item y 在迭代步骤 t 中出现,即可以按照下面迭代公式更新 B。



索引和模型预估


如下图所示,索引 pipe 分为三个阶段:候选集生成,embedding 预测和 embedding 索引。


上述序列式训练生成的双塔模型会定期地保存成为 SavedModel 并与线上的预测模型保持同步。对于索引库里的所有候选 item,可以使用双塔模型的候选集侧的塔生成 item 的 embedding;然后再通过基于树或者量化 hash 的方式来建立索引。



实验


为了评估所提出算法框架的有效性,我们进行了在 item 频率预估上的仿真实验、Wikipedia 上的检索实验以及 Youtube 上的实验。这里我们主要关注于在 Youtube 线上的实验。


模型结构采用上面介绍的结构,针对共同的输入特征,相应的 Embedding 在 query 和 item 的两个塔之间是共享的。双塔均使用三层 DNN 网络 1024 x 512 x 128。



本文转载自知乎专栏:深度推荐系统。


原文链接:https://zhuanlan.zhihu.com/p/88255834


2020 年 3 月 19 日 21:38735

评论

发布
暂无评论
发现更多内容

前端架构演进 - 从单体到微前端(理论篇)

Teobler

前端 架构演进

HashMap 源码分析

学个球

Java HashMap底层原理

Dubbo 服务配置

青年IT男

dubbo

Dubbo 服务启动检查

青年IT男

dubbo

如何运用“区块链”,让档案数据管理更安全

CECBC区块链专委会

数据安全

小白也能看懂的操作系统之内存

程序猿阿星

操作系统 内存 内存管理 内存优化

Dubbo 服务注册与发现

青年IT男

dubbo

聪明人的训练(二十五)

Changing Lin

4月日更

Golang 常见架构模式

escray

Go 学习 极客时间 4月日更

Spring 实战:通过 BeanPostProcessor 动态注入 ID 生成器

看山

Spring实战

白话运维监控系统-1.1 运维监控系统概述

运维散兵

运维监控

postman的url编码问题

箭上有毒

4月日更

一念三年,心机流转|靠谱点评

无量靠谱

源中瑞区块链BaaS平台搭建,为企业开发应用提供技术支撑

源中瑞-龙先生

区块链 源中瑞 Baas

Dubbo 入门简介

青年IT男

dubbo

Dubbo 集群容错

青年IT男

dubbo

Redis 持久化

叶佳欣

redis持久化

稻盛和夫的管理绝活:阿米巴经营模式

石云升

团队建设 28天写作 职场经验 管理经验 4月日更

区块链链接能源:到底是乌托邦愿景还是未来蓝图?

CECBC区块链专委会

能源

2.7w字!Java基础面试题/知识点总结!(2021 最新版)

Guide哥

Java 面试

区块链电子发票的多维创新与变革效应

CECBC区块链专委会

电子税务

MySQL事务机制是如何实现的?

冰河

MySQL 事务 Binlog Redo Log Undo Log

Dubbo 直连提供者

青年IT男

dubbo

[TcaplusDB小知识]TcaplusDB的备份与回档机制

数据人er

数据库 nosql TcaplusDB

截图软件Snipaste超好用的贴图功能,在别的软件也能拥有 | 窗口置顶工具

彭宏豪95

效率 工具 windows 4月日更 窗口置顶

产品文档和原型怎么弄?——课堂笔记

Deborah

网络协议学习笔记 Day4

穿过生命散发芬芳

网络协议 4月日更

Dubbo 四大角色

青年IT男

dubbo

Dubbo快速入门

青年IT男

dubbo

KubeFed集群联邦

陈迪

Kubernetes 云原生 容器云 kubernetes联邦 容器编排

把黄金圣衣交给圣斗士:HDC.Cloud 2021的硬核春天

脑极体

Google工业风最新论文, Youtube提出双塔结构流式模型进行大规模推荐-InfoQ