预约 DBTalk 技术公开课,了解 HTAP 数据库的最佳实践! 了解详情
写点什么

深度推荐系统与 CTR 预估 2019 年上半年值得精读的论文

  • 2019-08-21
  • 本文字数:4042 字

    阅读完需:约 13 分钟

深度推荐系统与CTR预估2019年上半年值得精读的论文

本文来自“深度推荐系统”专栏,这个系列将介绍在深度学习的强力驱动下,给推荐系统工业界所带来的最前沿的变化。本文主要总结一下深度推荐系统与 CTR 预估 2019 年值得精读的论文。


微博上近日流传一个段子,“2020 年曾是各大科幻片中遥远的未来,但是现在离这个遥远的未来也只有 6 个月时间了”。只是借此感慨一下 2019 年转瞬之间半年的时间已经过去了,目前深度学习火热朝天,深度学习在推荐系统和 CTR 预估工业界的论文也是一篇接着一篇良莠不齐。


接下来主要总结一下 2019 年上半年工业界深度推荐系统与 CTR 预估上值得精读的论文。个人整理难免遗漏,也欢迎各位同行朋友评论另外哪些想额外推荐精读的论文。


1. Top-K Off-Policy Correction for a REINFORCE Recommender System, WSDM 2019, Google


作者:Minmin Chen, Alex Beutel, Paul Covington, Sagar Jain, Francois Belletti, Ed Chi;


论文Keynote


位列首位的当属 Youtube 推荐强化学习的两篇论文。虽然强化学习目前在推荐系统和 CTR 预估领域工业界由于系统复杂、效果未有显著提升等众所周知的原因确实不够成熟也尚未大规模应用起来。但是 Youtube 推荐的这两篇论文从某种程度上让强化学习的应用方向变得更明确了一些,而且作者在 Industry Day 上也宣称线上实验效果显示这个是 YouTube 单个项目近两年来最大的 reward 增长,也从某种程度上会激发各大公司的研究者们继续跟进的兴趣。


这是第一篇论文,提出了一种 Top-K 的 Off-Policy 修正方案将 RL 中 Policy-Gradient 类算法得以应用在动作空间数以百万计的 Youtube 在线推荐系统中。


2. Reinforcement Learning for Slate-based Recommender Systems: A Tractable Decomposition and Practical Methodology, IJCAI 2019, Google


作者:Eugene Ie, Vihan Jain, Jing Wang, …, Jim McFadden, Tushar Chandra, Craig Boutilier;


论文


这是 Youtube 推荐应用强化学习的第二弹,主要贡献是提出了一种名为 SLATEQ 的 Q-Learning 算法,优化推荐系统里面同时展示给用户多个 item 情况的长期收益 LTV(Long-term Value),将长期收益加入排序多目标中进行建模优化。重点在于与 baseline 使用的深度网络和输入特征都完全一样。详见:Youtube推荐已经上线RL了,强化学习在推荐广告工业界大规模应用还远吗?


3. Deep Learning Recommendation Model for Personalization and Recommendation Systems


作者:Maxim Naumov, Dheevatsa Mudigere, Hao-Jun Michael Shi,…, Bill Jia, Liang Xiong, Misha Smelyanskiy;


论文代码解读


FaceBook 推荐最新论文,通过建模与系统协同设计提出一种 butterfly-shuffle 的机制来提升模型并行化,离线训练上在没有任何超参调优下收敛速度与准确率优于 DCN,并开源了代码。


4. Feature Generation by Convolutional Neural Network for Click-Through Rate Prediction, WWW 2019, Huawei


作者:Bin Liu, Ruiming Tang, Yingzhi Chen, Jinkai Yu, Huifeng Guo, Yuzhou Zhang;


论文


华为 at WWW 2019,提出基于卷积神经网络的 CTR 特征生成方法 FGCNN,包含特征生成和深度分类器两部分,可以和任意 CTR 预估模型进行组合。


5. Deep Spatio-Temporal Neural Networks for Click-Through Rate Prediction, KDD 2019, Alibaba


作者:Wentao Ouyang, Xiuwu Zhang, Li Li, Heng Zou, Xin Xing, Zhaojie Liu, Yanlong Du;


论文代码


阿里 at KDD 2019,提出 DSTN 模型用于点击率 CTR 预估,考虑更多空域与时域的辅助信息包括上下文展示过的 ad 以及历史点击/未点击 ad 来更好地预测目标 item 的点击率。从论文实验数据看,效果大幅度超过 DeepFM 和 GRU,并开源了代码。



6. AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks


作者:Weiping Song, Chence Shi, Zhiping Xiao, Zhijian Duan, Yewen Xu, Ming Zhang, Jian Tang;


论文代码


最新的深度 CTR 预估模型 AutoInt,通过过 Multi-head 注意力机制将特征投射到多个子空间中,并在不同的子空间中捕获不同的特征组合形式,效果超过 xDeepFM 等达到最好。


7. Real-time Attention Based Look-alike Model for Recommender System, KDD 2019, Tencent


作者:Yudan Liu, Kaikai Ge, Xu Zhang, Leyu Lin


论文解读


腾讯 at KDD2019,微信看一看团队对传统 Look-alike 进行了改造,提出实时 Look-alike 算法 RALM,解决推荐系统多样性问题,效果好于 YoutubeDNN。


8. Joint Optimization of Tree-based Index and Deep Model for Recommender Systems


作者:Han Zhu, Daqing Chang, Ziru Xu, Pengye Zhang, Xiang Li, Jie He, Han Li, Jian Xu, Kun Gai;


论文TDM论文


还记得阿里 at KDD 2018 的深度树匹配召回模型 TDM 吗?升级版 JTM 提出索引与模型同时优化的方案,大幅提升召回效果。



9. A User-Centered Concept Mining System for Query and Document Understanding at Tencent, KDD 2019, Tencent


作者:Bang Liu, Weidong Guo, Di Niu, Chaoyue Wang, Shunnan Xu, Jinghong Lin, Kunfeng Lai, Yu Xu


论文解读数据资源


腾讯 at KDD2019,构建了 ConcepT 概念挖掘标记系统,利用 query 搜索点击日志从用户视角提取不同的概念,以提高对短文本(query)和长文章(document)的理解,从而推动推荐,搜索等业务的提升。实验证明,ConcepT 在 QQ 浏览器信息流业务中性能优异,曝光效率相对提升 6.01%。


10. Deep Session Interest Network for Click-Through Rate Prediction, IJCAI 2019, Alibaba


作者:Yufei Feng, Fuyu Lv, Weichen Shen, Menghan Wang, Fei Sun, Yu Zhu, Keping Yang;


论文代码


阿里 at IJCAI2019,考虑到不同用户行为序列的 session 内行为同构与 session 之间行为异构的特性提出了基于 sesssion 的 CTR 预估模型 DSIN。使用 self-attention 机制抽取 session 内用户兴趣,使用 Bi-LSTM 针对用户跨 session 兴趣进行建模。


11. Interaction-aware Factorization Machines for Recommender Systems, AAAI2019, Tencent


作者:Fuxing Hong, Dongbo Huang, Ge Chen;


论文代码


腾讯 at AAAI2019,提出 IFM 通过特征以及特征组不同角度灵活学习特征间交互的重要性,并提出了通用的 Interation-NN 框架和 DeepIFM 来捕捉高阶交互,效果优于 DeepFM 并开源了代码。


12. Multi-Interest Network with Dynamic Routing for Recommendation at Tmall


作者:Chao Li, Zhiyuan Liu, Mengmeng Wu, …, Qiwei Chen, Wei Li, Dik Lun Lee


论文解读


阿里天猫提出 MIND 模型通过 Dynamic Routing 的方法从用户行为和用户属性信息中动态学习出多个表示用户兴趣的向量,更好的捕捉用户的多样兴趣,来提升召回的丰富度和准确度,效果好于 YoutubeDNN。


13. Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction, KDD 2019, Alibaba


作者:Qi Pi, Weijie Bian, Guorui Zhou, Xiaoqiang Zhu, Kun Gai;


论文


阿里 at KDD2019,通过系统设计解决用户超长行为历史下 CTR 建模与在线预测性能瓶颈,效果好于 GRU4Rec 和 DIEN。


14. Neural News Recommendation with Long- and Short-term User Representations, ACL 2019, Microsoft


作者:Mingxiao An,Fangzhao Wu,Chuhan Wu,Kun Zhang,Zheng Liu,Xing Xie;


论文


微软 at ACL 2019,LSTUR 用于在新闻推荐任务中同时学习用户长期和短期的兴趣表示。模型的整体结构可分为新闻编码器、用户长期兴趣和短期兴趣模型、以及候选新闻的个性化分数预测模型,效果好于 GRU4Rec。


15. Hierarchical Gating Networks for Sequential Recommendation, KDD 2019


作者:Chen Ma, Peng Kang, Xue Liu;


论文代码


KDD2019,HGN 提出通过 feature 与 instance gating 的多层级结构结合 BPR 来更好的捕获用户的长短期兴趣,效果好于 GRU4Rec 以及 NextItRec。


16. Behavior Sequence Transformer for E-commerce Recommendation in Alibaba, KDD 2019, Alibaba


作者:Qiwei Chen, Huan Zhao, Wei Li, Pipei Huang, Wenwu Ou


论文解读


阿里巴巴搜索推荐事业部的新研究,首次使用强大的 Transformer 模型捕获用户行为序列的序列信号,供电子商务场景的推荐系统使用。原有 DIN 提出使用注意力机制来捕获候选项与用户先前点击商品之间的相似性,但未考虑用户行为序列背后的序列性质。离线实验和在线 A/B 测试表明,BST 与现有方法相比有明显优势。目前 BST 已经部署在淘宝推荐的 rank 阶段,每天为数亿消费者提供推荐服务[2]。


17. Operation-aware Neural Networks for User Response Prediction


作者:Yi Yang, Baile Xu, Furao Shen, Jian Zhao;


论文代码


深度 CTR 预估新积木:PNN + FFM - FM = ONN 模型,效果好于 DeepFM 和 PNN。


18. BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer, Alibaba


作者:Fei Sun, Jun Liu, Jian Wu, Changhua Pei, Xiao Lin, Wenwu Ou, Peng Jiang;


论文


Transformer 引入推荐系统工业界,利用用户历史点击序列预测下一个点击 item,效果超过 GRU4Rec。


19. A Capsule Network for Recommendation and Explaining What You Like and Dislike, SIGIR2019, Alibaba


作者:henliang Li, Cong Quan, Li Peng, Yunwei Qi, Yuming Deng, Libing Wu;


论文


阿里 at SIGIR2019,胶囊神经网络应用于推荐提出 CARP 模型来从评论中更好地建模用户对商品的喜好程度,效果好于最新的 ANR 等。


20. Representation Learning-Assisted Click-Through Rate Prediction, IJCAI 2019, Alibaba


作者:Wentao Ouyang, Xiuwu Zhang, Shukui Ren, Chao Qi, Zhaojie Liu, Yanlong Du;


论文代码


阿里 at IJCAI2019,提出 DeepMCP 模型通过匹配、关联、预测三个子模块更好地建模用户-ad,ad 之间以及特征-CTR 关系,效果优于 DeepFM 并开源了代码。


本文授权转载自知乎专栏“深度推荐系统”。原文链接:https://zhuanlan.zhihu.com/p/72597928


2019-08-21 15:306723

评论

发布
暂无评论
发现更多内容

代码质量与安全 | 实践“边写边清理”,您需要做好这两件事:质量配置文件和质量门

龙智—DevSecOps解决方案

代码质量 代码安全 静态代码安全

GOPS现场 | 对话龙智技术顾问,分享DevOps观察与心得

龙智—DevSecOps解决方案

运维 DevOps工具链

最后 3 天|报名参加 OpenYurt+EdgeX 挑战赛 ,冲击最高 5 万元奖励!

阿里巴巴云原生

阿里云 云原生 openyurt EdgeX

【荣耀开发者服务平台—百亿曝光扶持等你来】智慧服务内容接口卡片接入指南

荣耀开发者服务平台

手机 激励 卡片服务 厂商 honor

测试管理 | 龙智获得Xray专家认证

龙智—DevSecOps解决方案

Jira插件

CI/CD | 大型企业与开发团队如何进行持续集成与持续发布

龙智—DevSecOps解决方案

持续集成 CI/CD 持续发布

LED屏幕有色差要怎么办?

Dylan

LED显示屏 户外LED显示屏 led显示屏厂家

硅谷名企、国内大厂是如何度量研发效能的?|ONES 研发管理大师课

万事ONES

我用 极狐 Gitlab issue 来点菜 #JIHULAB 101

朱亚光

JIHULAB 101

数据变更白屏化利器-推送轨迹上线

阿里巴巴云原生

zookeeper 阿里云 开源 微服务 云原生

Serverless 架构下的 AI 应用开发:入门、实战与性能优化

阿里巴巴云原生

阿里云 Serverless 云原生

国产操作系统应用小程序化:夯实技术底座,促进生态发展

Speedoooo

小程序 国产操作系统 小程序容器

设计模式的艺术 第二十二章观察者设计模式练习(开发一款实时在线股票软件。该软件需要提供如下功能:当股票购买者所购买的某只股票价格变化幅度达到5%时,系统将自动发送通知(包括新价格)给购买该股票的所有股民。试使用观察者模式设计并实现该系统)

代廉洁

在Java培训机构中怎么学习?

小谷哥

文未有福利 | 接口自动化你不懂?听HttpRunner的作者怎么说

测吧(北京)科技有限公司

测试 接口调试

牛客“基础-中级-高级”Java程序员面试八股文集结,熬夜挑灯刷

程序知音

Java java面试 后端技术 Java面试八股文 Java 面试题

版本管理 | 如何解决SVN的合并冲突与分支问题?

龙智—DevSecOps解决方案

svn 版本管理

区块链NFT网站开发:NFT数字藏品网站开发

开源直播系统源码

NFT 数字藏品 数字藏品系统

设备健康管理在石化行业的探索与实践

PreMaint

预测性维护 设备健康管理

北京哪家WEB前端培训机构比较不错

小谷哥

深度推荐系统与CTR预估2019年上半年值得精读的论文_AI_深度传送门_InfoQ精选文章