来 DTDS 全球数字人才发展峰会,与刘润、叶军、快刀青衣畅聊成长>> 了解详情
写点什么

深度推荐系统与 CTR 预估 2019 年上半年值得精读的论文

2019 年 8 月 21 日

深度推荐系统与CTR预估2019年上半年值得精读的论文

本文来自“深度推荐系统”专栏,这个系列将介绍在深度学习的强力驱动下,给推荐系统工业界所带来的最前沿的变化。本文主要总结一下深度推荐系统与 CTR 预估 2019 年值得精读的论文。


微博上近日流传一个段子,“2020 年曾是各大科幻片中遥远的未来,但是现在离这个遥远的未来也只有 6 个月时间了”。只是借此感慨一下 2019 年转瞬之间半年的时间已经过去了,目前深度学习火热朝天,深度学习在推荐系统和 CTR 预估工业界的论文也是一篇接着一篇良莠不齐。


接下来主要总结一下 2019 年上半年工业界深度推荐系统与 CTR 预估上值得精读的论文。个人整理难免遗漏,也欢迎各位同行朋友评论另外哪些想额外推荐精读的论文。


1. Top-K Off-Policy Correction for a REINFORCE Recommender System, WSDM 2019, Google


作者:Minmin Chen, Alex Beutel, Paul Covington, Sagar Jain, Francois Belletti, Ed Chi;


论文Keynote


位列首位的当属 Youtube 推荐强化学习的两篇论文。虽然强化学习目前在推荐系统和 CTR 预估领域工业界由于系统复杂、效果未有显著提升等众所周知的原因确实不够成熟也尚未大规模应用起来。但是 Youtube 推荐的这两篇论文从某种程度上让强化学习的应用方向变得更明确了一些,而且作者在 Industry Day 上也宣称线上实验效果显示这个是 YouTube 单个项目近两年来最大的 reward 增长,也从某种程度上会激发各大公司的研究者们继续跟进的兴趣。


这是第一篇论文,提出了一种 Top-K 的 Off-Policy 修正方案将 RL 中 Policy-Gradient 类算法得以应用在动作空间数以百万计的 Youtube 在线推荐系统中。


2. Reinforcement Learning for Slate-based Recommender Systems: A Tractable Decomposition and Practical Methodology, IJCAI 2019, Google


作者:Eugene Ie, Vihan Jain, Jing Wang, …, Jim McFadden, Tushar Chandra, Craig Boutilier;


论文


这是 Youtube 推荐应用强化学习的第二弹,主要贡献是提出了一种名为 SLATEQ 的 Q-Learning 算法,优化推荐系统里面同时展示给用户多个 item 情况的长期收益 LTV(Long-term Value),将长期收益加入排序多目标中进行建模优化。重点在于与 baseline 使用的深度网络和输入特征都完全一样。详见:Youtube推荐已经上线RL了,强化学习在推荐广告工业界大规模应用还远吗?


3. Deep Learning Recommendation Model for Personalization and Recommendation Systems


作者:Maxim Naumov, Dheevatsa Mudigere, Hao-Jun Michael Shi,…, Bill Jia, Liang Xiong, Misha Smelyanskiy;


论文代码解读


FaceBook 推荐最新论文,通过建模与系统协同设计提出一种 butterfly-shuffle 的机制来提升模型并行化,离线训练上在没有任何超参调优下收敛速度与准确率优于 DCN,并开源了代码。


4. Feature Generation by Convolutional Neural Network for Click-Through Rate Prediction, WWW 2019, Huawei


作者:Bin Liu, Ruiming Tang, Yingzhi Chen, Jinkai Yu, Huifeng Guo, Yuzhou Zhang;


论文


华为 at WWW 2019,提出基于卷积神经网络的 CTR 特征生成方法 FGCNN,包含特征生成和深度分类器两部分,可以和任意 CTR 预估模型进行组合。


5. Deep Spatio-Temporal Neural Networks for Click-Through Rate Prediction, KDD 2019, Alibaba


作者:Wentao Ouyang, Xiuwu Zhang, Li Li, Heng Zou, Xin Xing, Zhaojie Liu, Yanlong Du;


论文代码


阿里 at KDD 2019,提出 DSTN 模型用于点击率 CTR 预估,考虑更多空域与时域的辅助信息包括上下文展示过的 ad 以及历史点击/未点击 ad 来更好地预测目标 item 的点击率。从论文实验数据看,效果大幅度超过 DeepFM 和 GRU,并开源了代码。



6. AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks


作者:Weiping Song, Chence Shi, Zhiping Xiao, Zhijian Duan, Yewen Xu, Ming Zhang, Jian Tang;


论文代码


最新的深度 CTR 预估模型 AutoInt,通过过 Multi-head 注意力机制将特征投射到多个子空间中,并在不同的子空间中捕获不同的特征组合形式,效果超过 xDeepFM 等达到最好。


7. Real-time Attention Based Look-alike Model for Recommender System, KDD 2019, Tencent


作者:Yudan Liu, Kaikai Ge, Xu Zhang, Leyu Lin


论文解读


腾讯 at KDD2019,微信看一看团队对传统 Look-alike 进行了改造,提出实时 Look-alike 算法 RALM,解决推荐系统多样性问题,效果好于 YoutubeDNN。


8. Joint Optimization of Tree-based Index and Deep Model for Recommender Systems


作者:Han Zhu, Daqing Chang, Ziru Xu, Pengye Zhang, Xiang Li, Jie He, Han Li, Jian Xu, Kun Gai;


论文TDM论文


还记得阿里 at KDD 2018 的深度树匹配召回模型 TDM 吗?升级版 JTM 提出索引与模型同时优化的方案,大幅提升召回效果。



9. A User-Centered Concept Mining System for Query and Document Understanding at Tencent, KDD 2019, Tencent


作者:Bang Liu, Weidong Guo, Di Niu, Chaoyue Wang, Shunnan Xu, Jinghong Lin, Kunfeng Lai, Yu Xu


论文解读数据资源


腾讯 at KDD2019,构建了 ConcepT 概念挖掘标记系统,利用 query 搜索点击日志从用户视角提取不同的概念,以提高对短文本(query)和长文章(document)的理解,从而推动推荐,搜索等业务的提升。实验证明,ConcepT 在 QQ 浏览器信息流业务中性能优异,曝光效率相对提升 6.01%。


10. Deep Session Interest Network for Click-Through Rate Prediction, IJCAI 2019, Alibaba


作者:Yufei Feng, Fuyu Lv, Weichen Shen, Menghan Wang, Fei Sun, Yu Zhu, Keping Yang;


论文代码


阿里 at IJCAI2019,考虑到不同用户行为序列的 session 内行为同构与 session 之间行为异构的特性提出了基于 sesssion 的 CTR 预估模型 DSIN。使用 self-attention 机制抽取 session 内用户兴趣,使用 Bi-LSTM 针对用户跨 session 兴趣进行建模。


11. Interaction-aware Factorization Machines for Recommender Systems, AAAI2019, Tencent


作者:Fuxing Hong, Dongbo Huang, Ge Chen;


论文代码


腾讯 at AAAI2019,提出 IFM 通过特征以及特征组不同角度灵活学习特征间交互的重要性,并提出了通用的 Interation-NN 框架和 DeepIFM 来捕捉高阶交互,效果优于 DeepFM 并开源了代码。


12. Multi-Interest Network with Dynamic Routing for Recommendation at Tmall


作者:Chao Li, Zhiyuan Liu, Mengmeng Wu, …, Qiwei Chen, Wei Li, Dik Lun Lee


论文解读


阿里天猫提出 MIND 模型通过 Dynamic Routing 的方法从用户行为和用户属性信息中动态学习出多个表示用户兴趣的向量,更好的捕捉用户的多样兴趣,来提升召回的丰富度和准确度,效果好于 YoutubeDNN。


13. Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction, KDD 2019, Alibaba


作者:Qi Pi, Weijie Bian, Guorui Zhou, Xiaoqiang Zhu, Kun Gai;


论文


阿里 at KDD2019,通过系统设计解决用户超长行为历史下 CTR 建模与在线预测性能瓶颈,效果好于 GRU4Rec 和 DIEN。


14. Neural News Recommendation with Long- and Short-term User Representations, ACL 2019, Microsoft


作者:Mingxiao An,Fangzhao Wu,Chuhan Wu,Kun Zhang,Zheng Liu,Xing Xie;


论文


微软 at ACL 2019,LSTUR 用于在新闻推荐任务中同时学习用户长期和短期的兴趣表示。模型的整体结构可分为新闻编码器、用户长期兴趣和短期兴趣模型、以及候选新闻的个性化分数预测模型,效果好于 GRU4Rec。


15. Hierarchical Gating Networks for Sequential Recommendation, KDD 2019


作者:Chen Ma, Peng Kang, Xue Liu;


论文代码


KDD2019,HGN 提出通过 feature 与 instance gating 的多层级结构结合 BPR 来更好的捕获用户的长短期兴趣,效果好于 GRU4Rec 以及 NextItRec。


16. Behavior Sequence Transformer for E-commerce Recommendation in Alibaba, KDD 2019, Alibaba


作者:Qiwei Chen, Huan Zhao, Wei Li, Pipei Huang, Wenwu Ou


论文解读


阿里巴巴搜索推荐事业部的新研究,首次使用强大的 Transformer 模型捕获用户行为序列的序列信号,供电子商务场景的推荐系统使用。原有 DIN 提出使用注意力机制来捕获候选项与用户先前点击商品之间的相似性,但未考虑用户行为序列背后的序列性质。离线实验和在线 A/B 测试表明,BST 与现有方法相比有明显优势。目前 BST 已经部署在淘宝推荐的 rank 阶段,每天为数亿消费者提供推荐服务[2]。


17. Operation-aware Neural Networks for User Response Prediction


作者:Yi Yang, Baile Xu, Furao Shen, Jian Zhao;


论文代码


深度 CTR 预估新积木:PNN + FFM - FM = ONN 模型,效果好于 DeepFM 和 PNN。


18. BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer, Alibaba


作者:Fei Sun, Jun Liu, Jian Wu, Changhua Pei, Xiao Lin, Wenwu Ou, Peng Jiang;


论文


Transformer 引入推荐系统工业界,利用用户历史点击序列预测下一个点击 item,效果超过 GRU4Rec。


19. A Capsule Network for Recommendation and Explaining What You Like and Dislike, SIGIR2019, Alibaba


作者:henliang Li, Cong Quan, Li Peng, Yunwei Qi, Yuming Deng, Libing Wu;


论文


阿里 at SIGIR2019,胶囊神经网络应用于推荐提出 CARP 模型来从评论中更好地建模用户对商品的喜好程度,效果好于最新的 ANR 等。


20. Representation Learning-Assisted Click-Through Rate Prediction, IJCAI 2019, Alibaba


作者:Wentao Ouyang, Xiuwu Zhang, Shukui Ren, Chao Qi, Zhaojie Liu, Yanlong Du;


论文代码


阿里 at IJCAI2019,提出 DeepMCP 模型通过匹配、关联、预测三个子模块更好地建模用户-ad,ad 之间以及特征-CTR 关系,效果优于 DeepFM 并开源了代码。


本文授权转载自知乎专栏“深度推荐系统”。原文链接:https://zhuanlan.zhihu.com/p/72597928


2019 年 8 月 21 日 15:306441

评论

发布
暂无评论
发现更多内容

认识 Java 中的队列:Vector、ArrayList、CopyOnWriteArrayList、SynchronizedList

看山

Java 线程安全

抽奖小程序-活动发布用例分析及流程图

思亭

产品经理 - 第三周作业

LLL777

【得物技术】走进Web3D的世界(1) 画个立方体吧

得物技术

html html5 js WebGL 得物技术

0期产品训练营第四周作业-学情周报用例

skylar

5. Python 循环的本质就是一段代码懒得重复写

梦想橡皮擦

Python Python Monad 2月春节不断更 python入门

ZEGO全新语音聊天室方案,2小时复刻 Clubhouse

ZEGO即构

【STM32】0.96寸OLED显示屏(7针SPI协议)软件模拟SPI

AXYZdong

硬件 stm32 2月春节不断更

深入了解gradle和maven的区别

程序那些事

maven Gradle 程序那些事 构建工具

你真的了解 sync.Mutex吗

Leo叔叔

go mutex Go Concurrency Patterns

5G点亮工业革命前,2021需要持续点亮5G

脑极体

你看那个程序员,每年升职加薪,日赚3千

谙忆

话题讨论 | 你是不是一个特别容易被说服的人?

石云升

话题讨论 2月春节不断更

第四周学习心得

Trigger

极客时间 产品经理训练营

UC01 用户 购买课程

克比

从“乌鸡”到5G,不仅仅是谐音梗

脑极体

产品训练营 - 第四周 - 作业

邹小胖

产品训练营

第四章作业

Rui

产品经理训练营笔记 - 业务流程与产品文档(二)

.nil?

产品经理训练营

「产品经理训练营」作业 04:知识星球加入星球用例

狷介

产品经理训练营

区分重载和重写,轻松掌握 Java 多态

飞天小牛肉

Java 程序员 面试 后端 2月春节不断更

正确面对倦怠感,提升职场战斗力

boshi

职场成长 七日更

极客大学·产品训练营·第三章作业(第四周)

二大爷

极客大学 极客大学产品经理训练营 产品训练营

第四周作业

Geek_72d5ab

日记 2021年2月10日(周三)

Changing Lin

2月春节不断更

1分钟内的Linux性能分析法

Gopher指北

Linux 后端

话题讨论 | 如何获得令人心动的前端offer

魔王哪吒

程序员 面试 前端 话题讨论 二月春节不断更

Java容器--2021面试题系列教程(附答案解析)--大白话解读--JavaPub版本

JavaPub

Java hashmap 面试题 javapub

马斯克说狗币牛逼,我说idea插件助你盯盘摸鱼

滑板上的老砒霜

比特币 idea插件 Android开发

Spring中经典的9种设计模式,一定要记牢

Crud的程序员

spring 程序员 架构 设计模式

第四周作业-核销优惠券用例

隋泽

产品经理训练营

「中国技术开放日·长沙站」现场直播

「中国技术开放日·长沙站」现场直播

深度推荐系统与CTR预估2019年上半年值得精读的论文-InfoQ