写点什么

深度推荐系统与 CTR 预估 2019 年上半年值得精读的论文

  • 2019-08-21
  • 本文字数:4042 字

    阅读完需:约 13 分钟

深度推荐系统与CTR预估2019年上半年值得精读的论文

本文来自“深度推荐系统”专栏,这个系列将介绍在深度学习的强力驱动下,给推荐系统工业界所带来的最前沿的变化。本文主要总结一下深度推荐系统与 CTR 预估 2019 年值得精读的论文。


微博上近日流传一个段子,“2020 年曾是各大科幻片中遥远的未来,但是现在离这个遥远的未来也只有 6 个月时间了”。只是借此感慨一下 2019 年转瞬之间半年的时间已经过去了,目前深度学习火热朝天,深度学习在推荐系统和 CTR 预估工业界的论文也是一篇接着一篇良莠不齐。


接下来主要总结一下 2019 年上半年工业界深度推荐系统与 CTR 预估上值得精读的论文。个人整理难免遗漏,也欢迎各位同行朋友评论另外哪些想额外推荐精读的论文。


1. Top-K Off-Policy Correction for a REINFORCE Recommender System, WSDM 2019, Google


作者:Minmin Chen, Alex Beutel, Paul Covington, Sagar Jain, Francois Belletti, Ed Chi;


论文Keynote


位列首位的当属 Youtube 推荐强化学习的两篇论文。虽然强化学习目前在推荐系统和 CTR 预估领域工业界由于系统复杂、效果未有显著提升等众所周知的原因确实不够成熟也尚未大规模应用起来。但是 Youtube 推荐的这两篇论文从某种程度上让强化学习的应用方向变得更明确了一些,而且作者在 Industry Day 上也宣称线上实验效果显示这个是 YouTube 单个项目近两年来最大的 reward 增长,也从某种程度上会激发各大公司的研究者们继续跟进的兴趣。


这是第一篇论文,提出了一种 Top-K 的 Off-Policy 修正方案将 RL 中 Policy-Gradient 类算法得以应用在动作空间数以百万计的 Youtube 在线推荐系统中。


2. Reinforcement Learning for Slate-based Recommender Systems: A Tractable Decomposition and Practical Methodology, IJCAI 2019, Google


作者:Eugene Ie, Vihan Jain, Jing Wang, …, Jim McFadden, Tushar Chandra, Craig Boutilier;


论文


这是 Youtube 推荐应用强化学习的第二弹,主要贡献是提出了一种名为 SLATEQ 的 Q-Learning 算法,优化推荐系统里面同时展示给用户多个 item 情况的长期收益 LTV(Long-term Value),将长期收益加入排序多目标中进行建模优化。重点在于与 baseline 使用的深度网络和输入特征都完全一样。详见:Youtube推荐已经上线RL了,强化学习在推荐广告工业界大规模应用还远吗?


3. Deep Learning Recommendation Model for Personalization and Recommendation Systems


作者:Maxim Naumov, Dheevatsa Mudigere, Hao-Jun Michael Shi,…, Bill Jia, Liang Xiong, Misha Smelyanskiy;


论文代码解读


FaceBook 推荐最新论文,通过建模与系统协同设计提出一种 butterfly-shuffle 的机制来提升模型并行化,离线训练上在没有任何超参调优下收敛速度与准确率优于 DCN,并开源了代码。


4. Feature Generation by Convolutional Neural Network for Click-Through Rate Prediction, WWW 2019, Huawei


作者:Bin Liu, Ruiming Tang, Yingzhi Chen, Jinkai Yu, Huifeng Guo, Yuzhou Zhang;


论文


华为 at WWW 2019,提出基于卷积神经网络的 CTR 特征生成方法 FGCNN,包含特征生成和深度分类器两部分,可以和任意 CTR 预估模型进行组合。


5. Deep Spatio-Temporal Neural Networks for Click-Through Rate Prediction, KDD 2019, Alibaba


作者:Wentao Ouyang, Xiuwu Zhang, Li Li, Heng Zou, Xin Xing, Zhaojie Liu, Yanlong Du;


论文代码


阿里 at KDD 2019,提出 DSTN 模型用于点击率 CTR 预估,考虑更多空域与时域的辅助信息包括上下文展示过的 ad 以及历史点击/未点击 ad 来更好地预测目标 item 的点击率。从论文实验数据看,效果大幅度超过 DeepFM 和 GRU,并开源了代码。



6. AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks


作者:Weiping Song, Chence Shi, Zhiping Xiao, Zhijian Duan, Yewen Xu, Ming Zhang, Jian Tang;


论文代码


最新的深度 CTR 预估模型 AutoInt,通过过 Multi-head 注意力机制将特征投射到多个子空间中,并在不同的子空间中捕获不同的特征组合形式,效果超过 xDeepFM 等达到最好。


7. Real-time Attention Based Look-alike Model for Recommender System, KDD 2019, Tencent


作者:Yudan Liu, Kaikai Ge, Xu Zhang, Leyu Lin


论文解读


腾讯 at KDD2019,微信看一看团队对传统 Look-alike 进行了改造,提出实时 Look-alike 算法 RALM,解决推荐系统多样性问题,效果好于 YoutubeDNN。


8. Joint Optimization of Tree-based Index and Deep Model for Recommender Systems


作者:Han Zhu, Daqing Chang, Ziru Xu, Pengye Zhang, Xiang Li, Jie He, Han Li, Jian Xu, Kun Gai;


论文TDM论文


还记得阿里 at KDD 2018 的深度树匹配召回模型 TDM 吗?升级版 JTM 提出索引与模型同时优化的方案,大幅提升召回效果。



9. A User-Centered Concept Mining System for Query and Document Understanding at Tencent, KDD 2019, Tencent


作者:Bang Liu, Weidong Guo, Di Niu, Chaoyue Wang, Shunnan Xu, Jinghong Lin, Kunfeng Lai, Yu Xu


论文解读数据资源


腾讯 at KDD2019,构建了 ConcepT 概念挖掘标记系统,利用 query 搜索点击日志从用户视角提取不同的概念,以提高对短文本(query)和长文章(document)的理解,从而推动推荐,搜索等业务的提升。实验证明,ConcepT 在 QQ 浏览器信息流业务中性能优异,曝光效率相对提升 6.01%。


10. Deep Session Interest Network for Click-Through Rate Prediction, IJCAI 2019, Alibaba


作者:Yufei Feng, Fuyu Lv, Weichen Shen, Menghan Wang, Fei Sun, Yu Zhu, Keping Yang;


论文代码


阿里 at IJCAI2019,考虑到不同用户行为序列的 session 内行为同构与 session 之间行为异构的特性提出了基于 sesssion 的 CTR 预估模型 DSIN。使用 self-attention 机制抽取 session 内用户兴趣,使用 Bi-LSTM 针对用户跨 session 兴趣进行建模。


11. Interaction-aware Factorization Machines for Recommender Systems, AAAI2019, Tencent


作者:Fuxing Hong, Dongbo Huang, Ge Chen;


论文代码


腾讯 at AAAI2019,提出 IFM 通过特征以及特征组不同角度灵活学习特征间交互的重要性,并提出了通用的 Interation-NN 框架和 DeepIFM 来捕捉高阶交互,效果优于 DeepFM 并开源了代码。


12. Multi-Interest Network with Dynamic Routing for Recommendation at Tmall


作者:Chao Li, Zhiyuan Liu, Mengmeng Wu, …, Qiwei Chen, Wei Li, Dik Lun Lee


论文解读


阿里天猫提出 MIND 模型通过 Dynamic Routing 的方法从用户行为和用户属性信息中动态学习出多个表示用户兴趣的向量,更好的捕捉用户的多样兴趣,来提升召回的丰富度和准确度,效果好于 YoutubeDNN。


13. Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction, KDD 2019, Alibaba


作者:Qi Pi, Weijie Bian, Guorui Zhou, Xiaoqiang Zhu, Kun Gai;


论文


阿里 at KDD2019,通过系统设计解决用户超长行为历史下 CTR 建模与在线预测性能瓶颈,效果好于 GRU4Rec 和 DIEN。


14. Neural News Recommendation with Long- and Short-term User Representations, ACL 2019, Microsoft


作者:Mingxiao An,Fangzhao Wu,Chuhan Wu,Kun Zhang,Zheng Liu,Xing Xie;


论文


微软 at ACL 2019,LSTUR 用于在新闻推荐任务中同时学习用户长期和短期的兴趣表示。模型的整体结构可分为新闻编码器、用户长期兴趣和短期兴趣模型、以及候选新闻的个性化分数预测模型,效果好于 GRU4Rec。


15. Hierarchical Gating Networks for Sequential Recommendation, KDD 2019


作者:Chen Ma, Peng Kang, Xue Liu;


论文代码


KDD2019,HGN 提出通过 feature 与 instance gating 的多层级结构结合 BPR 来更好的捕获用户的长短期兴趣,效果好于 GRU4Rec 以及 NextItRec。


16. Behavior Sequence Transformer for E-commerce Recommendation in Alibaba, KDD 2019, Alibaba


作者:Qiwei Chen, Huan Zhao, Wei Li, Pipei Huang, Wenwu Ou


论文解读


阿里巴巴搜索推荐事业部的新研究,首次使用强大的 Transformer 模型捕获用户行为序列的序列信号,供电子商务场景的推荐系统使用。原有 DIN 提出使用注意力机制来捕获候选项与用户先前点击商品之间的相似性,但未考虑用户行为序列背后的序列性质。离线实验和在线 A/B 测试表明,BST 与现有方法相比有明显优势。目前 BST 已经部署在淘宝推荐的 rank 阶段,每天为数亿消费者提供推荐服务[2]。


17. Operation-aware Neural Networks for User Response Prediction


作者:Yi Yang, Baile Xu, Furao Shen, Jian Zhao;


论文代码


深度 CTR 预估新积木:PNN + FFM - FM = ONN 模型,效果好于 DeepFM 和 PNN。


18. BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer, Alibaba


作者:Fei Sun, Jun Liu, Jian Wu, Changhua Pei, Xiao Lin, Wenwu Ou, Peng Jiang;


论文


Transformer 引入推荐系统工业界,利用用户历史点击序列预测下一个点击 item,效果超过 GRU4Rec。


19. A Capsule Network for Recommendation and Explaining What You Like and Dislike, SIGIR2019, Alibaba


作者:henliang Li, Cong Quan, Li Peng, Yunwei Qi, Yuming Deng, Libing Wu;


论文


阿里 at SIGIR2019,胶囊神经网络应用于推荐提出 CARP 模型来从评论中更好地建模用户对商品的喜好程度,效果好于最新的 ANR 等。


20. Representation Learning-Assisted Click-Through Rate Prediction, IJCAI 2019, Alibaba


作者:Wentao Ouyang, Xiuwu Zhang, Shukui Ren, Chao Qi, Zhaojie Liu, Yanlong Du;


论文代码


阿里 at IJCAI2019,提出 DeepMCP 模型通过匹配、关联、预测三个子模块更好地建模用户-ad,ad 之间以及特征-CTR 关系,效果优于 DeepFM 并开源了代码。


本文授权转载自知乎专栏“深度推荐系统”。原文链接:https://zhuanlan.zhihu.com/p/72597928


2019-08-21 15:307089

评论

发布
暂无评论
发现更多内容

化学ppt课件怎么做?这个在线ppt工具不容错过!

职场工具箱

效率工具 职场 PPT AIGC AI生成PPT

覆盖80%业务场景,原生鸿蒙出行、教育行业样板间专区上线

最新动态

e3d插件下载 - Video Copilot Element 3D for mac-AE三维模型插件

Rose

Plugin Alliance Brainworx bx_limiter True Peak(峰值限制器)

Rose

FilmUnlimited PowerGrades(柯达胶片模拟电影预设)

Rose

【认证有奖】邀友“亿”起体验流量之旅

荣耀开发者服务平台

开发者激励 AIGC 奖励分红 开发者活动 应用市场

手把手教你编写自定义Categraf插件

天翼云开发者社区

Categraf

淘宝详情API接口全解析:如何获取与应用

代码忍者

API 接口 pinduoduo API

Mac 平台矢量图形编辑软件Boxy SVG for Mac

Mac相关知识分享

Middle for Mac触控板和鼠标增强工具

Mac相关知识分享

什么是数字化战略?数字化转型战略指南

积木链小链

数字化转型 数字化

软件测试学习笔记丨Vue常用指令-条件渲染(v-if)

测试人

软件测试

如何选择合适的TikTok网络节点

Ogcloud

代理IP tiktok运营 TikTok养号 tiktok节点 tiktok网络

软件测试学习笔记丨Vue常用指令-输入绑定(v-model)

测试人

软件测试

Web安全知识记录

天翼云开发者社区

网络安全 Web

软件测试学习笔记丨Vue学习笔记-基本介绍

测试人

软件测试

直接导入编辑MKV/MOV/FLV格式素材视频解码器AE/PR插件Influx

Rose

Midjourney-未来机甲

AIGC.TWang

未来世界 AI绘画 MidJourney

Blocs for mac优秀的代码编辑器

Mac相关知识分享

专业的 Mac 幻灯片制作软件FotoMagico for Mac

Mac相关知识分享

幻灯片

面对经济挑战,电商如何借助小程序提高人效并引流多端?

Geek_2305a8

中文汉化 AE/PR去朦胧除雾霾调色插件 ClearPlus

Rose

说说Java的类加载机制?究竟什么是双亲委派模型?

EquatorCoco

这AI队友哪智障了?这AI队友可太棒了!| 《易点新的》专访

网易伏羲

游戏AI

Overlord(AE制作MG动画神器脚本) 中文版-mac&win

Rose

英伟达力推生命科学,背后分子动力学价值远被低估

新消费日报

一文彻底弄懂Spring IOC 依赖注入

不在线第一只蜗牛

spring

容器、容器云和容器化PaaS平台之间到底是什么关系?

天翼云开发者社区

云计算 容器服务

1400+自定义ps形状集合

Rose

使用海外原生IP有什么好处

Ogcloud

静态IP 海外原生IP 原生IP

Autodesk Maya 2025 for Mac(三维动画和视觉特效软件)

Mac相关知识分享

小说

深度推荐系统与CTR预估2019年上半年值得精读的论文_AI&大模型_深度传送门_InfoQ精选文章