写点什么

阿里:Behavior Sequence Transformer 解读

  • 2019-12-02
  • 本文字数:1663 字

    阅读完需:约 5 分钟

阿里:Behavior Sequence Transformer 解读

背景和介绍

现在深度学习已经广泛应用到了各种 CTR 预估模型中,但是大都数模型的输入只是 concat 不同的特征,而忽视了用户历史行为本身的序列特征。比如一个用户很有可能买了苹果手机后,会买手机套,买了裤子之后会选择继续买个配套的鞋子。而之前一些模型比如 wide&deep,就没有利用用户行为历史序列中的 order information。DIN 模型使用注意力机制来捕获目标商品与用户先前行为序列中商品之间的相似性,但仍然未考虑用户行为序列背后的序列性质。


因此为了解决上述问题,本文尝试将 NLP 领域中大放异彩的 Transformer 模型来做推荐任务。具体:使用 self-attention 模块来学习用户行为历史序列中各个 item 的序列信息。

模型

  • 问题建模:给定一个用户 u 的行为序列:S(u) = {v1,v2, …,vn },学习一个函数 F 用于预测用户 u 点击 item vt 的概率。其它特征包括:user profile, context, item 和 cross features,如下图所示



  • 模型结构:

  • 1.Embedding Layer:左侧部分通过 embedding 层将所有的 other features 映射成固定维度的向量,然后 concat 起来。另外,该模型也将行为序列中的每个 Item(包括目标 Item)通过相同的 embedding 层映射成低维度的向量。这里需要注意的是,每个 Item 通过两部分来表示:“序列 item 特征”(红色部分)和“位置特征”(深蓝色),其中,“序列 item 特征”包括 item_id 和 category_id(item 通过包括上百个特征,但是 item-id 和 category_id 两个特征对于 performance 来说就已经够了)。位置特征用来刻画用户历史行为序列中的顺序信息,文中将“位置”作为中每个 item 的另一个输入特征,然后将其投射为低维向量。第 i 个位置的位置特征计算方式为 pos(vi)=t(vt)-t(vi),其中,t(vt) 表示推荐的时间戳,t(vi) 表示用户点击商品 vi 时的时间戳。

  • 2.Transformer layer:对于每个 item 抽取了一个更深层次的 representation,用于捕捉该 item 和历史行为序列中的其他 item 的关系。

  • Self-attention:Transformer 层中的 multi-head attention 模块输出:

  • 其中 headi 为:



self-attention 的计算公式为:



  • Point-wise Feed-Forward Network:目的是增加非线性。在 self-attention 和 FFN 中都使用了 dropout 和 LeakyReLU,最终 self-attention 和 FFN 的输出为:

  • Stacking the self-attention block:上面的两步操作被称为一个 self-attention 单元。为了抽取出 item 序列中更加复杂的潜在关联特征,该模型堆叠了几层 self-attention 单元:


  1. MLP layers and Loss function: 将所有的 embedding 进行拼接,输入到三层的神经网络中,并最终通过 sigmoid 函数转换为 0-1 之间的值,代表用户点击目标商品的概率。loss 函数:


实验结果

其中,b 表示 Transformer 的 block 堆叠的层数,论文里实验了 1 层、2 层和 3 层的效果,最终 1 层的效果最好。

总结

DIN、DIEN、DSIN 和本文 BST 模型的区别和联系


DIN 模型使用注意力机制来捕获目标商品与用户先前行为序列中商品之间的相似性,但是未考虑用户行为序列背后的序列性质,并且未捕捉用户兴趣的动态变化性。


DIEN 主要解决 DIN 无法捕捉用户兴趣的动态变化性的缺点,提出了兴趣抽取层 Interest Extractor Layer、兴趣进化层 Interest Evolution Layer。


DSIN 针对 DIN 和 DIEN 没考虑用户历史行为中的会话信息,因为在每个会话中的行为是相近的,而在不同会话之间差别是很大的。DSIN 主要是在 session 层面上来利用用户的历史行为序列信息。


BST 模型通过 Transformer 模型来捕捉用户历史序列中各个 item 的关联特征,并且通过加入待推荐的商品 item,也可抽取出行为序列中商品与待推荐商品之间的相关性。


参考文献:


Behavior Sequence Transformer for E-commerce Recommendation in Alibaba


https://www.jianshu.com/p/caa2d87cb78c


Deep Interest Network for Click-Through Rate Prediction


Deep Interest Evolution Network for Click-Through Rate Prediction


Deep Session Interest Network for Click-Through Rate Prediction


本文转载自 Alex-zhai 知乎账号。


原文链接:https://zhuanlan.zhihu.com/p/72018969


2019-12-02 16:221667

评论

发布
暂无评论
发现更多内容

HR Path收购瑞士HR-IT咨询、实施和外包专家smahrt consulting AG,以扩大业务版图

财见

Cision宣布成功完成融资交易

财见

Nuxt3还能用吗?

溪抱鱼

Vue SEO nextjs nuxt next

MWeb Pro for mac 博客生成编辑器

Rose

从工具到伙伴:轻帆云智能ITSM引领服务提供商(MSP)重构IT服务管理新范式

云智慧AIOps社区

ITSM ITSM软件 工单管理系统 工单管理

Scrutiny 9 for mac 网站SEO优化工具

Rose

VMware ESXi 8.0U3e macOS Unlocker & OEM BIOS Dell (戴尔) 定制版

sysin

esxi

全球调查显示中国积极影响力首超美国

财见

美的集团收购Teka集团,加速全球业务布局

财见

什么是开放数据湖(Open Data Lake)?

镜舟科技

数据湖 数据存储 开放格式 多结构化数据 开放接口

AI 搜索开放平台 x Qwen3:智能搜索全栈解决方案新升级

阿里云大数据AI技术

人工智能 AI搜索 Qwen3

最新LCA研究:与纸巾相比,XLERATOR®干手器碳足迹减少94%

财见

VMware ESXi 8.0U3e macOS Unlocker & OEM BIOS IEIT SYSTEMS (浪潮信息) 定制版

sysin

esxi

跨平台youtube音乐转换器:MediaHuman YouTube to MP3 Converter

Rose

UnlockGo for Mac:一键绕过 Apple ID 锁,轻松解除设备限制

Rose

Dimension 2020中文版(附dn2020激活补丁)mac/win

Rose

macOS Sequoia 15(Macos15系统)安装包分享

Rose

立夏 | 立足当夏,向阳而生

中烟创新

KWDB 社区最近又偷偷整活了?

KaiwuDB

数据库 kwdb

基于 Amazon Bedrock 的电商行业图片检索解决方案

亚马逊云科技 (Amazon Web Services)

中昊芯英创始人及董事长杨龚轶凡荣获2025年度新时代青年先锋奖​

科技热闻

Splunk Enterprise:实时数据分析与可视化

Rose

Native Instruments KOMPLETE 12系列音乐制作套装 Mac版

Rose

软通动力2024年年报:软硬一体战略促营收新高,增幅超78%

财见

TCL电子(01070.HK)2025年首季度全球TV出货量与销售额双双保持高增

财见

《算法导论(第4版)》阅读笔记:p7-p8

codists

算法

UCUXD,设计师的AI-UX成长笔记

科技热闻

2025年THE亚洲大学排名公布,KIIT跃居亚洲第184位、印度第8位

财见

北电数智星火,照亮数字中国的AI生产力图景

脑极体

AI

隐私安全 + 多场景适配:AnyGo for Mac 重新定义虚拟定位体验

Rose

如何打造一个高并发系统?

量贩潮汐·WholesaleTide

高并发

阿里:Behavior Sequence Transformer 解读_语言 & 开发_Alex-zhai_InfoQ精选文章