深度推荐系统与 CTR 预估 2019 年上半年值得精读的论文

本文来自“深度推荐系统”专栏，这个系列将介绍在深度学习的强力驱动下，给推荐系统工业界所带来的最前沿的变化。本文主要总结一下深度推荐系统与 CTR 预估 2019 年值得精读的论文。

微博上近日流传一个段子，“2020 年曾是各大科幻片中遥远的未来，但是现在离这个遥远的未来也只有 6 个月时间了”。只是借此感慨一下 2019 年转瞬之间半年的时间已经过去了，目前深度学习火热朝天，深度学习在推荐系统和 CTR 预估工业界的论文也是一篇接着一篇良莠不齐。

接下来主要总结一下 2019 年上半年工业界深度推荐系统与 CTR 预估上值得精读的论文。个人整理难免遗漏，也欢迎各位同行朋友评论另外哪些想额外推荐精读的论文。

1. Top-K Off-Policy Correction for a REINFORCE Recommender System, WSDM 2019, Google

作者：Minmin Chen, Alex Beutel, Paul Covington, Sagar Jain, Francois Belletti, Ed Chi；

论文 ；Keynote

位列首位的当属 Youtube 推荐强化学习的两篇论文。虽然强化学习目前在推荐系统和 CTR 预估领域工业界由于系统复杂、效果未有显著提升等众所周知的原因确实不够成熟也尚未大规模应用起来。但是 Youtube 推荐的这两篇论文从某种程度上让强化学习的应用方向变得更明确了一些，而且作者在 Industry Day 上也宣称线上实验效果显示这个是 YouTube 单个项目近两年来最大的 reward 增长，也从某种程度上会激发各大公司的研究者们继续跟进的兴趣。

这是第一篇论文，提出了一种 Top-K 的 Off-Policy 修正方案将 RL 中 Policy-Gradient 类算法得以应用在动作空间数以百万计的 Youtube 在线推荐系统中。

2. Reinforcement Learning for Slate-based Recommender Systems: A Tractable Decomposition and Practical Methodology, IJCAI 2019, Google

作者：Eugene Ie, Vihan Jain, Jing Wang, …, Jim McFadden, Tushar Chandra, Craig Boutilier；

论文；

这是 Youtube 推荐应用强化学习的第二弹，主要贡献是提出了一种名为 SLATEQ 的 Q-Learning 算法，优化推荐系统里面同时展示给用户多个 item 情况的长期收益 LTV（Long-term Value）,将长期收益加入排序多目标中进行建模优化。重点在于与 baseline 使用的深度网络和输入特征都完全一样。详见：Youtube推荐已经上线RL了，强化学习在推荐广告工业界大规模应用还远吗？

3. Deep Learning Recommendation Model for Personalization and Recommendation Systems

作者：Maxim Naumov, Dheevatsa Mudigere, Hao-Jun Michael Shi,…, Bill Jia, Liang Xiong, Misha Smelyanskiy；

论文；代码；解读；

FaceBook 推荐最新论文，通过建模与系统协同设计提出一种 butterfly-shuffle 的机制来提升模型并行化，离线训练上在没有任何超参调优下收敛速度与准确率优于 DCN，并开源了代码。

4. Feature Generation by Convolutional Neural Network for Click-Through Rate Prediction, WWW 2019, Huawei

作者：Bin Liu, Ruiming Tang, Yingzhi Chen, Jinkai Yu, Huifeng Guo, Yuzhou Zhang；

论文；

华为 at WWW 2019，提出基于卷积神经网络的 CTR 特征生成方法 FGCNN，包含特征生成和深度分类器两部分，可以和任意 CTR 预估模型进行组合。

5. Deep Spatio-Temporal Neural Networks for Click-Through Rate Prediction, KDD 2019, Alibaba

作者：Wentao Ouyang, Xiuwu Zhang, Li Li, Heng Zou, Xin Xing, Zhaojie Liu, Yanlong Du；

论文；代码；

阿里 at KDD 2019，提出 DSTN 模型用于点击率 CTR 预估，考虑更多空域与时域的辅助信息包括上下文展示过的 ad 以及历史点击/未点击 ad 来更好地预测目标 item 的点击率。从论文实验数据看，效果大幅度超过 DeepFM 和 GRU，并开源了代码。

6. AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks

作者：Weiping Song, Chence Shi, Zhiping Xiao, Zhijian Duan, Yewen Xu, Ming Zhang, Jian Tang；

论文；代码；

最新的深度 CTR 预估模型 AutoInt，通过过 Multi-head 注意力机制将特征投射到多个子空间中，并在不同的子空间中捕获不同的特征组合形式，效果超过 xDeepFM 等达到最好。

7. Real-time Attention Based Look-alike Model for Recommender System, KDD 2019, Tencent

作者：Yudan Liu, Kaikai Ge, Xu Zhang, Leyu Lin

论文；解读；

腾讯 at KDD2019，微信看一看团队对传统 Look-alike 进行了改造，提出实时 Look-alike 算法 RALM，解决推荐系统多样性问题，效果好于 YoutubeDNN。

8. Joint Optimization of Tree-based Index and Deep Model for Recommender Systems

作者：Han Zhu, Daqing Chang, Ziru Xu, Pengye Zhang, Xiang Li, Jie He, Han Li, Jian Xu, Kun Gai；

论文；TDM论文；

还记得阿里 at KDD 2018 的深度树匹配召回模型 TDM 吗？升级版 JTM 提出索引与模型同时优化的方案，大幅提升召回效果。

9. A User-Centered Concept Mining System for Query and Document Understanding at Tencent, KDD 2019, Tencent

作者：Bang Liu, Weidong Guo, Di Niu, Chaoyue Wang, Shunnan Xu, Jinghong Lin, Kunfeng Lai, Yu Xu

论文；解读；数据资源；

腾讯 at KDD2019，构建了 ConcepT 概念挖掘标记系统，利用 query 搜索点击日志从用户视角提取不同的概念，以提高对短文本（query）和长文章（document）的理解，从而推动推荐，搜索等业务的提升。实验证明，ConcepT 在 QQ 浏览器信息流业务中性能优异，曝光效率相对提升 6.01%。

10. Deep Session Interest Network for Click-Through Rate Prediction, IJCAI 2019, Alibaba

作者：Yufei Feng, Fuyu Lv, Weichen Shen, Menghan Wang, Fei Sun, Yu Zhu, Keping Yang；

论文；代码；

阿里 at IJCAI2019，考虑到不同用户行为序列的 session 内行为同构与 session 之间行为异构的特性提出了基于 sesssion 的 CTR 预估模型 DSIN。使用 self-attention 机制抽取 session 内用户兴趣，使用 Bi-LSTM 针对用户跨 session 兴趣进行建模。

11. Interaction-aware Factorization Machines for Recommender Systems, AAAI2019, Tencent

作者：Fuxing Hong, Dongbo Huang, Ge Chen；

论文；代码；

腾讯 at AAAI2019，提出 IFM 通过特征以及特征组不同角度灵活学习特征间交互的重要性，并提出了通用的 Interation-NN 框架和 DeepIFM 来捕捉高阶交互，效果优于 DeepFM 并开源了代码。

12. Multi-Interest Network with Dynamic Routing for Recommendation at Tmall

作者：Chao Li, Zhiyuan Liu, Mengmeng Wu, …, Qiwei Chen, Wei Li, Dik Lun Lee

论文；解读；

阿里天猫提出 MIND 模型通过 Dynamic Routing 的方法从用户行为和用户属性信息中动态学习出多个表示用户兴趣的向量，更好的捕捉用户的多样兴趣，来提升召回的丰富度和准确度，效果好于 YoutubeDNN。

13. Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction, KDD 2019, Alibaba

作者：Qi Pi, Weijie Bian, Guorui Zhou, Xiaoqiang Zhu, Kun Gai；

论文；

阿里 at KDD2019，通过系统设计解决用户超长行为历史下 CTR 建模与在线预测性能瓶颈，效果好于 GRU4Rec 和 DIEN。

14. Neural News Recommendation with Long- and Short-term User Representations, ACL 2019, Microsoft

作者：Mingxiao An，Fangzhao Wu，Chuhan Wu，Kun Zhang，Zheng Liu，Xing Xie；

论文；

微软 at ACL 2019，LSTUR 用于在新闻推荐任务中同时学习用户长期和短期的兴趣表示。模型的整体结构可分为新闻编码器、用户长期兴趣和短期兴趣模型、以及候选新闻的个性化分数预测模型，效果好于 GRU4Rec。

15. Hierarchical Gating Networks for Sequential Recommendation, KDD 2019

作者：Chen Ma, Peng Kang, Xue Liu；

论文；代码；

KDD2019，HGN 提出通过 feature 与 instance gating 的多层级结构结合 BPR 来更好的捕获用户的长短期兴趣，效果好于 GRU4Rec 以及 NextItRec。

16. Behavior Sequence Transformer for E-commerce Recommendation in Alibaba, KDD 2019, Alibaba

作者：Qiwei Chen, Huan Zhao, Wei Li, Pipei Huang, Wenwu Ou

论文；解读

阿里巴巴搜索推荐事业部的新研究，首次使用强大的 Transformer 模型捕获用户行为序列的序列信号，供电子商务场景的推荐系统使用。原有 DIN 提出使用注意力机制来捕获候选项与用户先前点击商品之间的相似性，但未考虑用户行为序列背后的序列性质。离线实验和在线 A/B 测试表明，BST 与现有方法相比有明显优势。目前 BST 已经部署在淘宝推荐的 rank 阶段，每天为数亿消费者提供推荐服务[2]。

17. Operation-aware Neural Networks for User Response Prediction

作者：Yi Yang, Baile Xu, Furao Shen, Jian Zhao；

论文；代码；

深度 CTR 预估新积木：PNN + FFM - FM = ONN 模型，效果好于 DeepFM 和 PNN。

18. BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer, Alibaba

作者：Fei Sun, Jun Liu, Jian Wu, Changhua Pei, Xiao Lin, Wenwu Ou, Peng Jiang；

论文；

Transformer 引入推荐系统工业界，利用用户历史点击序列预测下一个点击 item，效果超过 GRU4Rec。

19. A Capsule Network for Recommendation and Explaining What You Like and Dislike, SIGIR2019, Alibaba

作者：henliang Li, Cong Quan, Li Peng, Yunwei Qi, Yuming Deng, Libing Wu；

论文；

阿里 at SIGIR2019，胶囊神经网络应用于推荐提出 CARP 模型来从评论中更好地建模用户对商品的喜好程度，效果好于最新的 ANR 等。

20. Representation Learning-Assisted Click-Through Rate Prediction, IJCAI 2019, Alibaba

作者：Wentao Ouyang, Xiuwu Zhang, Shukui Ren, Chao Qi, Zhaojie Liu, Yanlong Du；

论文；代码；

阿里 at IJCAI2019，提出 DeepMCP 模型通过匹配、关联、预测三个子模块更好地建模用户-ad，ad 之间以及特征-CTR 关系，效果优于 DeepFM 并开源了代码。

本文授权转载自知乎专栏“深度推荐系统”。原文链接：https://zhuanlan.zhihu.com/p/72597928