阿里云飞天发布时刻,领先大模型限免,超7000万 tokens免费体验 了解详情
写点什么

Google 工业风最新论文, Youtube 提出双塔结构流式模型进行大规模推荐

  • 2020-03-19
  • 本文字数:1305 字

    阅读完需:约 4 分钟

Google工业风最新论文, Youtube提出双塔结构流式模型进行大规模推荐

本文主要介绍 Google 在 RecSys 2019 上的最新论文,提出了双塔结构流式模型应用于 Youtube 进行大规模推荐



介绍


工业界现有的推荐系统都需要从一个超大规模的候选集中拉取 item 进行打分排序。解决数据稀疏和指数级候选集分布的一种通常做法是从 item 的内容特征中学习出 item 的稠密表示。这里很自然地就想到了工业界大名鼎鼎且应用广泛的双塔神经网络结构,其中的一塔就是从丰富的 item 内容特征中学习到 item 的表示。


工业界目前训练双塔结构一般是通过随机 mini-batch 的方式来优化损失函数。这种训练方式存在的一个显著问题就是 in-batch loss 会因为随机采样偏差而导致模型效果不好,尤其是当样本分布出现明显倾斜的时候。我们提出了一种全新的算法,可以从流式数据中预估 item 的频率。通过理论分析和实验,新算法有能力在不知道候选集全部的词典情况下做出无偏差的估计并且可以自适应候选集分布的变化。在 Youtube 线上的实验也证明了该算法的有效性。


模型架构


我们考虑一种通用的推荐问题设定:给定一系列 query 和候选集,目标就是在给定 query 的情况下返回最相关的一个候选子集。针对这里的 query 和候选集中的 item,都可以用各自的特征向量来进行表示。在个性化推荐场景中,则是用户 user 和会话的上下文 context 构成这里的 query 侧


都知道 Youtube 的推荐架构主要分为两个阶段:召回和排序。而本文则主要聚焦于新增一路如下图所示的双塔召回。query 侧的塔是由大量的用户观看历史形成的 user features 以及共同的 seed features 构成,候选集侧的塔则是由视频特征构成。训练样本的 Label 则是由用户的点击和播放时长加权得到。



序列式训练


Youtube 的训练数据按天依次产生,训练数据以 streaming 的方式喂给分布式训练集群。这样模型就可以自动学习并适应最新数据分布的变化。训练算法如下图所示,当收到一个 batch 的训练样本时,首先针对候选集的 item 进行采样概率预测,然后根据预测的采样概率构建损失函数,最后迭代训练即可。



流式频率预估的算法如下图所示。由于候选集 item 的词典不是固定的,时刻都会有新的 item 产生。因此这里针对 item 使用 hash 函数做了一个映射。针对一个指定的候选 item y,A 表示 y 被采样最近一次步骤,B 则表示 y 的预估频率。一旦候选 item y 在迭代步骤 t 中出现,即可以按照下面迭代公式更新 B。



索引和模型预估


如下图所示,索引 pipe 分为三个阶段:候选集生成,embedding 预测和 embedding 索引。


上述序列式训练生成的双塔模型会定期地保存成为 SavedModel 并与线上的预测模型保持同步。对于索引库里的所有候选 item,可以使用双塔模型的候选集侧的塔生成 item 的 embedding;然后再通过基于树或者量化 hash 的方式来建立索引。



实验


为了评估所提出算法框架的有效性,我们进行了在 item 频率预估上的仿真实验、Wikipedia 上的检索实验以及 Youtube 上的实验。这里我们主要关注于在 Youtube 线上的实验。


模型结构采用上面介绍的结构,针对共同的输入特征,相应的 Embedding 在 query 和 item 的两个塔之间是共享的。双塔均使用三层 DNN 网络 1024 x 512 x 128。



本文转载自知乎专栏:深度推荐系统。


原文链接:https://zhuanlan.zhihu.com/p/88255834


2020-03-19 21:381763

评论

发布
暂无评论
发现更多内容

施耐德电气EMS+与MyEMS对比分析

开源能源管理系统

开源 能源管理 开源能源管理 施耐德电气EMS

AI领域的agent是什么意思?

Techinsight

YashanDB数据库核心功能解析及使用教程

数据库砖家

微擎生态驱动的招商信息管理平台

微擎应用市场

GAITC2025|张科:端云一体大模型推理应用实战

京东零售技术

Function AI 工作流发布:以 AI 重塑企业流程自动化

阿里巴巴云原生

阿里云 云原生 函数计算

YashanDB数据库海量数据存储方案解析

数据库砖家

Perf 的 cpu-clock 与 cpu-cycles 采样实现与对比

mazhen

Linux Performance perf kernel

从“大模型热”到“Agent潮”,“真风口”还是“伪命题”?

Techinsight

YashanDB数据库版本升级注意事项及操作指南

数据库砖家

YashanDB数据库查询优化策略详解

数据库砖家

YashanDB数据库环境搭建及性能测试详细教程

数据库砖家

微擎生态驱动的多端客服管理平台

微擎应用市场

YashanDB数据库核心技术架构及未来发展趋势探讨

数据库砖家

YashanDB数据库架构的未来发展趋势展望

数据库砖家

行业热点丨手机中框设计如何体现增材思维?

Altair RapidMiner

仿真 CAE 3D打印 Inspire 增材制造

YashanDB数据库支持的多协议访问技术探究

数据库砖家

AI技术在英语口语练习中的应用

北京木奇移动技术有限公司

软件外包公司 AI英语学习 AI技术应用

北京京东,看看难度

王中阳Go

Java

火爆的AI Agent,到底是什么?

Techinsight

YashanDB数据库性能指标详解及应用

数据库砖家

YashanDB数据库支持哪些编程语言?开发集成教程

数据库砖家

YashanDB数据库版本升级的风险与注意事项

数据库砖家

MyEMS开源能源管理系统 + EG200 4G网关

开源能源管理系统

开源 能源管理 开源能源管理系统 EG200

全面拆解:何为AI Agent?

Techinsight

YashanDB数据库异步复制技术详解及配置指南

数据库砖家

YashanDB数据库支持的全文检索功能及配置指南

数据库砖家

YashanDB数据库支持的事务隔离级别详解

数据库砖家

YashanDB数据库版本升级及数据兼容性解决方案

数据库砖家

ISO 50003对提供能源管理体系审核和认证的机构的要求与MyEMS开源能源管理系统

开源能源管理系统

开源 能源管理 开源能源管理系统 ISO50003

扫码点餐微擎生态驱动的智慧餐饮解决方案

微擎应用市场

Google工业风最新论文, Youtube提出双塔结构流式模型进行大规模推荐_语言 & 开发_深度传送门_InfoQ精选文章