五大人工智能顶会 2019 必读的深度推荐系统相关的论文

本文来自“深度推荐系统”专栏，这个系列将介绍在深度学习的强力驱动下，给推荐系统工业界所带来的最前沿的变化。本文主要总结一下深度推荐系统相关的几大顶会（包含 ICML2019/ KDD2019/ IJCAI2019/ WWW2019）必读的几篇论文，各位老铁学不动也得学，请收好。

强化学习

1. Generative Adversarial User Model for Reinforcement Learning Based Recommendation System, ICML 2019

作者：Xinshi Chen、Shuang Li、Hui Li、Shaohua Jiang、Yuan Qi、Le Song

论文；解读

在蚂蚁金服被 ICML 2019 接收的这篇论文中，作者们提出用生成对抗用户模型作为强化学习的模拟环境，先在此模拟环境中进行线下训练，再根据线上用户反馈进行即时策略更新，以此大大减少线上训练样本需求。此外，作者提出以集合（set）为单位而非单个物品（item）为单位进行推荐，并利用 Cascading-DQN 的神经网络结构解决组合推荐策略搜索空间过大的问题[1]。

深度 CTR 预估

说到深度 CTR 预估的模型，就得祭出网上广为流传的这张图。今年到现在为止，下图深度 CTR 预估的图谱（深度 CTR 预估图谱来源于王喆老师的《谷歌、阿里等 10 大深度学习 CTR 模型最全演化图谱》一文）左边 DIN 家族系列进行了进一步的丰富。学不动也得学，老铁。

2. Deep Session Interest Network for Click-Through Rate Prediction, IJCAI 2019

作者：Yufei Feng, Fuyu Lv, Weichen Shen, Menghan Wang, Fei Sun, Yu Zhu, Keping Yang

论文；代码

阿里 at IJCAI 2019，考虑到不同用户行为序列的 session 内行为同构与 session 之间行为异构的特性提出了基于 sesssion 的 CTR 预估模型 DSIN。使用 self-attention 机制抽取 session 内用户兴趣，使用 Bi-LSTM 针对用户跨 session 兴趣进行建模。

3. Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction, KDD 2019

作者：Qi Pi, Weijie Bian, Guorui Zhou, Xiaoqiang Zhu, Kun Gai

论文

阿里 at KDD2019，通过引入 UIC 存储单元与 MIMN 模型联合设计，解决用户超长行为历史下 CTR 预估建模与在线预测性能瓶颈，效果好于 GRU4Rec 和 DIEN。

4. Behavior Sequence Transformer for E-commerce Recommendation in Alibaba

作者：Qiwei Chen, Huan Zhao, Wei Li, Pipei Huang, Wenwu Ou

论文；解读

阿里巴巴搜索推荐事业部的新研究，首次使用强大的 Transformer 模型捕获用户行为序列的序列信号，供电子商务场景的推荐系统使用。原有 DIN 提出使用注意力机制来捕获候选项与用户先前点击商品之间的相似性，但未考虑用户行为序列背后的序列性质。离线实验和在线 A/B 测试表明，BST 与现有方法相比有明显优势。目前 BST 已经部署在淘宝推荐的 rank 阶段，每天为数亿消费者提供推荐服务[2]。

5. BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer

作者：Fei Sun, Jun Liu, Jian Wu, Changhua Pei, Xiao Lin, Wenwu Ou, Peng Jiang

论文

Transformer 引入推荐系统工业界，应用于利用用户历史点击序列预测下一个点击 item，效果超过 GRU4Rec。

6. Joint Optimization of Tree-based Index and Deep Model for Recommender Systems

作者：Qi Pi, Weijie Bian, Guorui Zhou, Xiaoqiang Zhu, Kun Gai

论文；TDM论文

还记得阿里 at KDD 2018 的深度树匹配召回模型 TDM 吗？升级版 JTM 提出索引与模型同时优化的方案，大幅提升召回效果。

Graph Embedding

7. NetSMF: Large-Scale Network Embedding as Sparse Matrix Factorization, WWW 2019

作者：Jiezhong Qiu, Yuxiao Dong, Hao Ma, Jian Li, Chi Wang, Kuansan Wang, Jie Tang

论文；代码

提出适用于大规模网络表示学习方法 NetSMF，利用稀疏矩阵分解来学习大规模网络 embedding，相对于现有方法 DeepWalk/ LINE/ Node2Vec 等极大地提高了学习效率，并开源了代码。

8. Representation Learning for Attributed Multiplex Heterogeneous Network, KDD 2019

作者：Yukuo Cen, Xu Zou, Jianwei Zhang, Hongxia Yang, Jingren Zhou, Jie Tang

论文；代码；解读

传统的网络(图)表示学习方法一般只针对同构的图，但是实际的图往往都是异构的。只包含异构节点的图的表示学习已经被广泛研究，例如 metapath2vec 提出了异构的 random walk 和 skip gram。而包含异构边的图的表示学习近来开始被大家所关注，比如 MNE 给每个点学习多种表示来处理异构边的情形。

这个算法目前在阿里电商场景下得到应用，阿里的数据由用户和商品构成的图就是异构的，不仅包含异构的节点（用户和商品），而且包含异构的边（用户和商品的多种交互行为，比如点击、购买等）。不仅如此，图中的节点还包含着丰富的属性。本文处理的就是这种包含异构节点和异构边的图的表示学习[3]。

9. ProNE: Fast and Scalable Network Representation Learning, IJCAI 2019

作者：Jie Zhang, Yuxiao Dong, Yan Wang, Jie Tang, Ming Ding

论文；代码

ProNE 利用矩阵的稀疏性，本质上是用一个低通滤波对原矩阵进行滤波，大大提高了速度，可以得到 10-400 倍的加速比。

10. Large Scale Evolving Graphs with Burst Detection, IJCAI 2019

作者：Yifeng Zhao, Xiangwei Wang, Hongxia Yang, Le Song and Jie Tang

论文

动态网络的表示学习最近引起广泛关注，清华今年和阿里巴巴在 IJCAI 上提出一个叫做 BurstGraph 的模型，有意思的是主要通过 burst 的 detection 来你和动态网络，这和传统大家都希望拟合一个平滑的动态模型不同。

参考文献

[1] 强化学习用于推荐系统，蚂蚁金服提出生成对抗用户模型

[2] 谷歌、阿里等10大深度学习CTR模型最全演化图谱

[3] 阿里将 Transformer 用于淘宝电商推荐

[4] 阿里电商场景下的大规模异构网络表示学习

[5] 唐杰THU老师的微博

本文授权转载自知乎专栏“深度推荐系统”。原文链接：https://zhuanlan.zhihu.com/p/69050253