你在使用哪种编程语言?快来投票,亲手选出你心目中的编程语言之王 了解详情
写点什么

阿里:Behavior Sequence Transformer 解读

2019 年 12 月 02 日

阿里:Behavior Sequence Transformer 解读

背景和介绍

现在深度学习已经广泛应用到了各种 CTR 预估模型中,但是大都数模型的输入只是 concat 不同的特征,而忽视了用户历史行为本身的序列特征。比如一个用户很有可能买了苹果手机后,会买手机套,买了裤子之后会选择继续买个配套的鞋子。而之前一些模型比如 wide&deep,就没有利用用户行为历史序列中的 order information。DIN 模型使用注意力机制来捕获目标商品与用户先前行为序列中商品之间的相似性,但仍然未考虑用户行为序列背后的序列性质。


因此为了解决上述问题,本文尝试将 NLP 领域中大放异彩的 Transformer 模型来做推荐任务。具体:使用 self-attention 模块来学习用户行为历史序列中各个 item 的序列信息。


模型

  • 问题建模:给定一个用户 u 的行为序列:S(u) = {v1,v2, …,vn },学习一个函数 F 用于预测用户 u 点击 item vt 的概率。其它特征包括:user profile, context, item 和 cross features,如下图所示



  • 模型结构:

  • 1.Embedding Layer:左侧部分通过 embedding 层将所有的 other features 映射成固定维度的向量,然后 concat 起来。另外,该模型也将行为序列中的每个 Item(包括目标 Item)通过相同的 embedding 层映射成低维度的向量。这里需要注意的是,每个 Item 通过两部分来表示:“序列 item 特征”(红色部分)和“位置特征”(深蓝色),其中,“序列 item 特征”包括 item_id 和 category_id(item 通过包括上百个特征,但是 item-id 和 category_id 两个特征对于 performance 来说就已经够了)。位置特征用来刻画用户历史行为序列中的顺序信息,文中将“位置”作为中每个 item 的另一个输入特征,然后将其投射为低维向量。第 i 个位置的位置特征计算方式为 pos(vi)=t(vt)-t(vi),其中,t(vt) 表示推荐的时间戳,t(vi) 表示用户点击商品 vi 时的时间戳。

  • 2.Transformer layer:对于每个 item 抽取了一个更深层次的 representation,用于捕捉该 item 和历史行为序列中的其他 item 的关系。

  • Self-attention:Transformer 层中的 multi-head attention 模块输出:

  • 其中 headi 为:



self-attention 的计算公式为:



  • Point-wise Feed-Forward Network:目的是增加非线性。在 self-attention 和 FFN 中都使用了 dropout 和 LeakyReLU,最终 self-attention 和 FFN 的输出为:

  • Stacking the self-attention block:上面的两步操作被称为一个 self-attention 单元。为了抽取出 item 序列中更加复杂的潜在关联特征,该模型堆叠了几层 self-attention 单元:


  1. MLP layers and Loss function: 将所有的 embedding 进行拼接,输入到三层的神经网络中,并最终通过 sigmoid 函数转换为 0-1 之间的值,代表用户点击目标商品的概率。loss 函数:



实验结果

其中,b 表示 Transformer 的 block 堆叠的层数,论文里实验了 1 层、2 层和 3 层的效果,最终 1 层的效果最好。


总结

DIN、DIEN、DSIN 和本文 BST 模型的区别和联系


DIN 模型使用注意力机制来捕获目标商品与用户先前行为序列中商品之间的相似性,但是未考虑用户行为序列背后的序列性质,并且未捕捉用户兴趣的动态变化性。


DIEN 主要解决 DIN 无法捕捉用户兴趣的动态变化性的缺点,提出了兴趣抽取层 Interest Extractor Layer、兴趣进化层 Interest Evolution Layer。


DSIN 针对 DIN 和 DIEN 没考虑用户历史行为中的会话信息,因为在每个会话中的行为是相近的,而在不同会话之间差别是很大的。DSIN 主要是在 session 层面上来利用用户的历史行为序列信息。


BST 模型通过 Transformer 模型来捕捉用户历史序列中各个 item 的关联特征,并且通过加入待推荐的商品 item,也可抽取出行为序列中商品与待推荐商品之间的相关性。


参考文献:


Behavior Sequence Transformer for E-commerce Recommendation in Alibaba


https://www.jianshu.com/p/caa2d87cb78c


Deep Interest Network for Click-Through Rate Prediction


Deep Interest Evolution Network for Click-Through Rate Prediction


Deep Session Interest Network for Click-Through Rate Prediction


本文转载自 Alex-zhai 知乎账号。


原文链接:https://zhuanlan.zhihu.com/p/72018969


2019 年 12 月 02 日 16:22394

评论

发布
暂无评论
发现更多内容

批判性思维自修课(一)

石君

28天写作 批判性思维

大数据知识专栏 - 数据仓库

小马哥

大数据 hive 数据仓库 七日更

第九周学习总结

Binary

当公元成了可以考古的年代「幻想短篇 17/28」

道伟

28天写作

产品经理训练营第二周作业-利益相关者

隋泽

产品经理训练营

数据库性能调优之始: analyze统计信息

华为云开发者社区

数据库 sql GaussDB 语义

循环?还是递归?

xcbeyond

Java 算法 递归 28天写作

28天瞎写的第二百二十七天:离开后要留下什么?

树上

28天写作

架构师训练营第四周作业 - 学习总结

阿德儿

架构师训练营第4周作业



Hive操作异常总结

小马哥

大数据 hive 数据仓库

架构师训练营第4周学习总结



碎碎念之「技术文档写作风格」

Justin

碎碎念 文档 28天写作 写作技巧

Redis为什么变慢了?一文讲透如何排查Redis性能问题 | 万字长文

Kaito

redis 性能优化 后端

如何基于海思芯片快速搭建Agora RTC应用

Hanson

WebRTC

第二章作业(一)

LouisN

管理的亲和力是怎么练成的?

一笑

管理 沟通与管理 28天写作

请用思维导图画出架构师训练营所有技术知识点

DL

第二章作业

DF

产品训练营第二章作业(一)

Arnold

架构师训练营 - 第四周作业

Mark

生活,在哪里都一样

熊斌

个人成长 28天写作

时间复杂度与常见排列算法

Changing Lin

算法

第九周作业

Binary

机器学习·学习笔记之:无监督学习

Nydia

在 ArrayList 使用冒泡法

sinsy

ArrayList 冒泡法

Why me, why now Jan 25, 2021

王泰

28天写作

[编程参考-连载] Snowflake 算法原理与对应的 Python 实现

Python编程参考官方账号

Python 算法

学习“利益相关者”后对自己工作的一点思考

隋泽

与前端训练营的日子 --Week13

SamGo

学习笔记

年会游戏:猜数字(前端特效)

学习委员

CSS html 前端 js 28天写作

技术为帆,纵横四海- Lazada技术东南亚探索和成长之旅

技术为帆,纵横四海- Lazada技术东南亚探索和成长之旅

阿里:Behavior Sequence Transformer 解读-InfoQ