写点什么

多任务学习在推荐算法中的应用(二)

2020 年 1 月 07 日

多任务学习在推荐算法中的应用(二)

2. 阿里 DUPN

Perceive Your Users in Depth: Learning Universal User Representations from Multiple E-commerce Tasks


多任务学习的优势:可共享一部分网络结构,比如多个任务共享一份 embedding 参数。学习的用户、商品向量表示可方便迁移到其它任务中。本文提出了一种多任务模型 DUPN:



模型分为行为序列层、Embedding 层、LSTM 层、Attention 层、下游多任务层。


❶ 行为序列层:输入用户的行为序列 x = {x1,x2,…,xN},其中每个行为都有两部分组成,分别是 item 和 property 项。Item 包括商品 id 和一些 side-information 比如店铺 id、brand 等 ( 好多场景下都要带 side-information,这样更容易学习出商品的 embedding 表示 )。Property 项表示此次行为的属性,比如场景 ( 搜索、推荐等场景 ) 时间、类型 ( 点击、购买、加购等 )。


❷ Embedding 层:主要多 item 和 property 的特征做处理。



❸ LSTM 层:得到每一个行为的 Embedding 表示之后,首先通过一个 LSTM 层,把序列信息考虑进来。


❹ Attention 层:区分不同用户行为的重要程度,经过 attention 层得到 128 维向量,拼接上 128 维的用户向量,最终得到一个 256 维向量作为用户的表达。


❺ 下游多任务层:CTR、L2R ( Learning to Rank )、用户达人偏好 FIFP、用户购买力度量 PPP 等。


另外,文中也提到了两点多任务模型的使用技巧:


❶ 天级更新模型:随着时间和用户兴趣的变化,ID 特征的 Embedding 需要不断更新,但每次都全量训练模型的话,需要耗费很长的时间。通常的做法是每天使用前一天的数据做增量学习,这样一方面能使训练时间大幅下降;另一方面可以让模型更贴近近期数据。


❷ 模型拆分:由于 CTR 任务是 point-wise 的,如果有 1w 个物品的话,需要计算 1w 次结果,如果每次都调用整个模型的话,其耗费是十分巨大的。其实 user Reprentation 只需要计算一次就好。因此我们会将模型进行一个拆解,使得红色部分只计算一次,而蓝色部分可以反复调用红色部分的结果进行多次计算。


  1. 美团 “猜你喜欢” 深度学习排序模型


根据业务目标,将点击率和下单率拆分出来,形成两个独立的训练目标,分别建立各自的 Loss Function,作为对模型训练的监督和指导。DNN 网络的前几层作为共享层,点击任务和下单任务共享其表达,并在 BP 阶段根据两个任务算出的梯度共同进行参数更新。网络在最后一个全连接层进行拆分,单独学习对应 Loss 的参数,从而更好地专注于拟合各自 Label 的分布。



这里有两个技巧可借鉴下:


❶ Missing Value Layer:缺失的特征可根据对应特征的分布去自适应的学习出一个合理的取值。



❷ KL-divergence Bound:通过物理意义将有关系的 Label 关联起来,比如 p(点击) * p(转化) = p(下单)。加入一个 KL 散度的 Bound,使得预测出来的 p(点击) * p(转化) 更接近于 p(下单)。但由于 KL 散度是非对称的,即 KL(p||q) != KL(q||p),因此真正使用的时候,优化的是 KL(p||q) + KL(q||p)。



  1. Google MMoE


Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts



模型 (a) 最为常见,两个任务直接共享模型的 bottom 部分,只在最后处理时做区分,图 (a) 中使用了 Tower A 和 Tower B,然后分别接损失函数。


模型 (b) 是常见的多任务学习模型。将 input 分别输入给三个 Expert,但三个 Expert 并不共享参数。同时将 input 输出给 Gate,Gate 输出每个 Expert 被选择的概率,然后将三个 Expert 的输出加权求和,输出给 Tower。有点 attention 的感觉


模型 © 是作者新提出的方法,对于不同的任务,模型的权重选择是不同的,所以作者为每个任务都配备一个 Gate 模型。对于不同的任务,特定的 Gate k 的输出表示不同的 Expert 被选择的概率,将多个 Expert 加权求和,得到 fk(x) ,并输出给特定的 Tower 模型,用于最终的输出。



其中 g(x) 表示 gate 门的输出,为多层感知机模型,简单的线性变换加 softmax 层。



本文转载自 DataFunTalk 公众号。


**原文链接:https://mp.weixin.qq.com/s?__biz=MzU1NTMyOTI4Mw==&mid=2247496333&idx=1&sn=da03f8db68e5276cffe73e090ac271ec&chksm=fbd740e1cca0c9f76da90a713311bac81e9890c1f9fd69976705e167dd30e4135db6ea297d6b&scene=27#wechat_redirect


2020 年 1 月 07 日 09:50489

评论

发布
暂无评论
发现更多内容

如何处理消息队列中的重复消息

废材姑娘

RocketMQ

一字一句的让你彻底掌握JavaScript中的回调函数

华为云开发者社区

JavaScript 前端 同步 回调函数

产品经理00期训练营第一周作业 4班

mas

产品经理训练营

一个button的成长过程

学习委员

CSS html css3 html/css 28天写作

AI无人机出手,让输电线路巡检更“聪明”!

华为云开发者社区

华为云 modelarts 视觉处理

绩效管理,上下同心者胜(三)

一笑

管理 绩效 28天写作

当前岗位的理想岗位模型

白生

如何构建高效可信的持续交付能力,华为云有绝活!

华为云开发者社区

软件 DevOps 持续交付 华为云

《原神》运维自动化的探索与实践

OpsMind

运维 运维自动化

开发实战:Float如何保留2位小数

worry

Spring 源码学习 15:finishBeanFactoryInitialization(重点)

程序员小航

spring 源码

如何恶意使用微信视频号 | 视频号 28 天 (12)

赵新龙

28天写作

经验说丨华为云视频Cloud Native架构下实践

华为云开发者社区

架构 微服务 华为云 CloudNative

这样提问,大牛才会为你解答(提问的智慧)

yes的练级攻略

产品经理训练营作业00

KingSwim

深入剖析RSA密钥原理及实践

vivo互联网技术

算法 https 公钥加密 rsa

智能手表

张老蔫

28天写作

Java 程序经验小结:消除GC触及不到的过期对象引用

后台技术汇

28天写作

作业-week1

赝品

一张自查清单

熊斌

学习笔记 个人总结 成长笔记 28天写作

Java学习(一)

灵霄

java基础

项目管理系列(6)-能力成熟度

Ian哥

28天写作

Soul 学习笔记---soul 数据同步的浅显分析(四)

fightingting

Soul网关

产品经理训练营-第一周作业

羽室

Soul学习笔记---运行 soul-examples-dubbo(三)

fightingting

Soul网关

Soul 网关实践 04|dubbo 服务接入网关

哼干嘛

云原生动态周报 | KubeEdge被评为2020十大边缘计算开源项目

华为云原生团队

云计算 云原生 边缘计算 华为云 边缘技术

轻松几步教你将React Native 项目运行在Web端

华为云开发者社区

html 前端 Web API React Native

期货合约系统软件开发|期货合约APP开发

开發I852946OIIO

系统开发

汽车行业产品经理备忘录(作业三)

Rui

Soul学习笔记---运行 soul-examples-http(二)

fightingting

Soul网关

Hummer 轻量级跨端技术框架详解及实战

Hummer 轻量级跨端技术框架详解及实战

多任务学习在推荐算法中的应用(二)-InfoQ