写点什么

深度推荐系统与 CTR 预估 2019 年上半年值得精读的论文

  • 2019-08-21
  • 本文字数:4042 字

    阅读完需:约 13 分钟

深度推荐系统与CTR预估2019年上半年值得精读的论文

本文来自“深度推荐系统”专栏,这个系列将介绍在深度学习的强力驱动下,给推荐系统工业界所带来的最前沿的变化。本文主要总结一下深度推荐系统与 CTR 预估 2019 年值得精读的论文。


微博上近日流传一个段子,“2020 年曾是各大科幻片中遥远的未来,但是现在离这个遥远的未来也只有 6 个月时间了”。只是借此感慨一下 2019 年转瞬之间半年的时间已经过去了,目前深度学习火热朝天,深度学习在推荐系统和 CTR 预估工业界的论文也是一篇接着一篇良莠不齐。


接下来主要总结一下 2019 年上半年工业界深度推荐系统与 CTR 预估上值得精读的论文。个人整理难免遗漏,也欢迎各位同行朋友评论另外哪些想额外推荐精读的论文。


1. Top-K Off-Policy Correction for a REINFORCE Recommender System, WSDM 2019, Google


作者:Minmin Chen, Alex Beutel, Paul Covington, Sagar Jain, Francois Belletti, Ed Chi;


论文Keynote


位列首位的当属 Youtube 推荐强化学习的两篇论文。虽然强化学习目前在推荐系统和 CTR 预估领域工业界由于系统复杂、效果未有显著提升等众所周知的原因确实不够成熟也尚未大规模应用起来。但是 Youtube 推荐的这两篇论文从某种程度上让强化学习的应用方向变得更明确了一些,而且作者在 Industry Day 上也宣称线上实验效果显示这个是 YouTube 单个项目近两年来最大的 reward 增长,也从某种程度上会激发各大公司的研究者们继续跟进的兴趣。


这是第一篇论文,提出了一种 Top-K 的 Off-Policy 修正方案将 RL 中 Policy-Gradient 类算法得以应用在动作空间数以百万计的 Youtube 在线推荐系统中。


2. Reinforcement Learning for Slate-based Recommender Systems: A Tractable Decomposition and Practical Methodology, IJCAI 2019, Google


作者:Eugene Ie, Vihan Jain, Jing Wang, …, Jim McFadden, Tushar Chandra, Craig Boutilier;


论文


这是 Youtube 推荐应用强化学习的第二弹,主要贡献是提出了一种名为 SLATEQ 的 Q-Learning 算法,优化推荐系统里面同时展示给用户多个 item 情况的长期收益 LTV(Long-term Value),将长期收益加入排序多目标中进行建模优化。重点在于与 baseline 使用的深度网络和输入特征都完全一样。详见:Youtube推荐已经上线RL了,强化学习在推荐广告工业界大规模应用还远吗?


3. Deep Learning Recommendation Model for Personalization and Recommendation Systems


作者:Maxim Naumov, Dheevatsa Mudigere, Hao-Jun Michael Shi,…, Bill Jia, Liang Xiong, Misha Smelyanskiy;


论文代码解读


FaceBook 推荐最新论文,通过建模与系统协同设计提出一种 butterfly-shuffle 的机制来提升模型并行化,离线训练上在没有任何超参调优下收敛速度与准确率优于 DCN,并开源了代码。


4. Feature Generation by Convolutional Neural Network for Click-Through Rate Prediction, WWW 2019, Huawei


作者:Bin Liu, Ruiming Tang, Yingzhi Chen, Jinkai Yu, Huifeng Guo, Yuzhou Zhang;


论文


华为 at WWW 2019,提出基于卷积神经网络的 CTR 特征生成方法 FGCNN,包含特征生成和深度分类器两部分,可以和任意 CTR 预估模型进行组合。


5. Deep Spatio-Temporal Neural Networks for Click-Through Rate Prediction, KDD 2019, Alibaba


作者:Wentao Ouyang, Xiuwu Zhang, Li Li, Heng Zou, Xin Xing, Zhaojie Liu, Yanlong Du;


论文代码


阿里 at KDD 2019,提出 DSTN 模型用于点击率 CTR 预估,考虑更多空域与时域的辅助信息包括上下文展示过的 ad 以及历史点击/未点击 ad 来更好地预测目标 item 的点击率。从论文实验数据看,效果大幅度超过 DeepFM 和 GRU,并开源了代码。



6. AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks


作者:Weiping Song, Chence Shi, Zhiping Xiao, Zhijian Duan, Yewen Xu, Ming Zhang, Jian Tang;


论文代码


最新的深度 CTR 预估模型 AutoInt,通过过 Multi-head 注意力机制将特征投射到多个子空间中,并在不同的子空间中捕获不同的特征组合形式,效果超过 xDeepFM 等达到最好。


7. Real-time Attention Based Look-alike Model for Recommender System, KDD 2019, Tencent


作者:Yudan Liu, Kaikai Ge, Xu Zhang, Leyu Lin


论文解读


腾讯 at KDD2019,微信看一看团队对传统 Look-alike 进行了改造,提出实时 Look-alike 算法 RALM,解决推荐系统多样性问题,效果好于 YoutubeDNN。


8. Joint Optimization of Tree-based Index and Deep Model for Recommender Systems


作者:Han Zhu, Daqing Chang, Ziru Xu, Pengye Zhang, Xiang Li, Jie He, Han Li, Jian Xu, Kun Gai;


论文TDM论文


还记得阿里 at KDD 2018 的深度树匹配召回模型 TDM 吗?升级版 JTM 提出索引与模型同时优化的方案,大幅提升召回效果。



9. A User-Centered Concept Mining System for Query and Document Understanding at Tencent, KDD 2019, Tencent


作者:Bang Liu, Weidong Guo, Di Niu, Chaoyue Wang, Shunnan Xu, Jinghong Lin, Kunfeng Lai, Yu Xu


论文解读数据资源


腾讯 at KDD2019,构建了 ConcepT 概念挖掘标记系统,利用 query 搜索点击日志从用户视角提取不同的概念,以提高对短文本(query)和长文章(document)的理解,从而推动推荐,搜索等业务的提升。实验证明,ConcepT 在 QQ 浏览器信息流业务中性能优异,曝光效率相对提升 6.01%。


10. Deep Session Interest Network for Click-Through Rate Prediction, IJCAI 2019, Alibaba


作者:Yufei Feng, Fuyu Lv, Weichen Shen, Menghan Wang, Fei Sun, Yu Zhu, Keping Yang;


论文代码


阿里 at IJCAI2019,考虑到不同用户行为序列的 session 内行为同构与 session 之间行为异构的特性提出了基于 sesssion 的 CTR 预估模型 DSIN。使用 self-attention 机制抽取 session 内用户兴趣,使用 Bi-LSTM 针对用户跨 session 兴趣进行建模。


11. Interaction-aware Factorization Machines for Recommender Systems, AAAI2019, Tencent


作者:Fuxing Hong, Dongbo Huang, Ge Chen;


论文代码


腾讯 at AAAI2019,提出 IFM 通过特征以及特征组不同角度灵活学习特征间交互的重要性,并提出了通用的 Interation-NN 框架和 DeepIFM 来捕捉高阶交互,效果优于 DeepFM 并开源了代码。


12. Multi-Interest Network with Dynamic Routing for Recommendation at Tmall


作者:Chao Li, Zhiyuan Liu, Mengmeng Wu, …, Qiwei Chen, Wei Li, Dik Lun Lee


论文解读


阿里天猫提出 MIND 模型通过 Dynamic Routing 的方法从用户行为和用户属性信息中动态学习出多个表示用户兴趣的向量,更好的捕捉用户的多样兴趣,来提升召回的丰富度和准确度,效果好于 YoutubeDNN。


13. Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction, KDD 2019, Alibaba


作者:Qi Pi, Weijie Bian, Guorui Zhou, Xiaoqiang Zhu, Kun Gai;


论文


阿里 at KDD2019,通过系统设计解决用户超长行为历史下 CTR 建模与在线预测性能瓶颈,效果好于 GRU4Rec 和 DIEN。


14. Neural News Recommendation with Long- and Short-term User Representations, ACL 2019, Microsoft


作者:Mingxiao An,Fangzhao Wu,Chuhan Wu,Kun Zhang,Zheng Liu,Xing Xie;


论文


微软 at ACL 2019,LSTUR 用于在新闻推荐任务中同时学习用户长期和短期的兴趣表示。模型的整体结构可分为新闻编码器、用户长期兴趣和短期兴趣模型、以及候选新闻的个性化分数预测模型,效果好于 GRU4Rec。


15. Hierarchical Gating Networks for Sequential Recommendation, KDD 2019


作者:Chen Ma, Peng Kang, Xue Liu;


论文代码


KDD2019,HGN 提出通过 feature 与 instance gating 的多层级结构结合 BPR 来更好的捕获用户的长短期兴趣,效果好于 GRU4Rec 以及 NextItRec。


16. Behavior Sequence Transformer for E-commerce Recommendation in Alibaba, KDD 2019, Alibaba


作者:Qiwei Chen, Huan Zhao, Wei Li, Pipei Huang, Wenwu Ou


论文解读


阿里巴巴搜索推荐事业部的新研究,首次使用强大的 Transformer 模型捕获用户行为序列的序列信号,供电子商务场景的推荐系统使用。原有 DIN 提出使用注意力机制来捕获候选项与用户先前点击商品之间的相似性,但未考虑用户行为序列背后的序列性质。离线实验和在线 A/B 测试表明,BST 与现有方法相比有明显优势。目前 BST 已经部署在淘宝推荐的 rank 阶段,每天为数亿消费者提供推荐服务[2]。


17. Operation-aware Neural Networks for User Response Prediction


作者:Yi Yang, Baile Xu, Furao Shen, Jian Zhao;


论文代码


深度 CTR 预估新积木:PNN + FFM - FM = ONN 模型,效果好于 DeepFM 和 PNN。


18. BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer, Alibaba


作者:Fei Sun, Jun Liu, Jian Wu, Changhua Pei, Xiao Lin, Wenwu Ou, Peng Jiang;


论文


Transformer 引入推荐系统工业界,利用用户历史点击序列预测下一个点击 item,效果超过 GRU4Rec。


19. A Capsule Network for Recommendation and Explaining What You Like and Dislike, SIGIR2019, Alibaba


作者:henliang Li, Cong Quan, Li Peng, Yunwei Qi, Yuming Deng, Libing Wu;


论文


阿里 at SIGIR2019,胶囊神经网络应用于推荐提出 CARP 模型来从评论中更好地建模用户对商品的喜好程度,效果好于最新的 ANR 等。


20. Representation Learning-Assisted Click-Through Rate Prediction, IJCAI 2019, Alibaba


作者:Wentao Ouyang, Xiuwu Zhang, Shukui Ren, Chao Qi, Zhaojie Liu, Yanlong Du;


论文代码


阿里 at IJCAI2019,提出 DeepMCP 模型通过匹配、关联、预测三个子模块更好地建模用户-ad,ad 之间以及特征-CTR 关系,效果优于 DeepFM 并开源了代码。


本文授权转载自知乎专栏“深度推荐系统”。原文链接:https://zhuanlan.zhihu.com/p/72597928


公众号推荐:

AGI 概念引发热议。那么 AGI 究竟是什么?技术架构来看又包括哪些?AI Agent 如何助力人工智能走向 AGI 时代?现阶段营销、金融、教育、零售、企服等行业场景下,AGI应用程度如何?有哪些典型应用案例了吗?以上问题的回答尽在《中国AGI市场发展研究报告 2024》,欢迎大家扫码关注「AI前线」公众号,回复「AGI」领取。

2019-08-21 15:306971

评论

发布
暂无评论
发现更多内容

小程序转App仅需7步

Speedoooo

ide APP开发 小程序转app 前端IDE

拯救工程师,远程开发C++的四大秘笈|视频教程

OneFlow

c++ 教程分享

SREWorks持续交付云原生化: 镜像构建

阿里云大数据AI技术

大数据 运维 云原生

在线HTML转ASP工具

入门小站

工具

浅析数字化转型与产业互联网

IT民工大叔

产业互联网 数字化转型

架构的尽头是架构师

IT民工大叔

架构师

虚拟机是什么?跟堡垒机有哪些区别?

行云管家

虚拟机 堡垒机

SAP UI5 框架的 manifest.json

Jerry Wang

前端开发 SAP Fiori SAP UI5 5月月更

中小互联网公司研发效能团队规模、职能划分和优劣势分析

laofo

DevOps cicd 研发效能 持续交付 互联网公司

服务端技术进阶(三)从架构到监控报警,支付系统设计如何步步为营

No Silver Bullet

架构 支付系统 架构设计 5月月更 监控报警

高校学生请注意:想成为技术大牛,参加这个计划就够了!

科技热闻

如何在 JavaScript 中让代码更加精简

devpoint

ES6 6月月更

CC2530 ADC配置步骤

DS小龙哥

5月月更

性能优化手记上篇之【原则】&【方法】

鲸品堂

3000帧动画图解MySQL为什么需要binlog、redo log和undo log

CoderW

后端 面试题 Binlog Redo Log MySQL 数据库

探密"一学就会,一用就废"的OKR

Bruce Talk

OKR 敏捷 Agile

企业电子文档管理需要注意的点及解决措施

小炮

文档管理

纪念左晖:敢为天下先(修订版)

IT民工大叔

产业互联网 数字化转型 企业家精神 左晖

王者荣耀商城异地多活架构设计

小虾米

架构师实战营

小程序生态构建能力,离不开UI定制自由

Speedoooo

ide 小程序ide

没有JDK和Maven,用Docker也能构建Maven工程

程序员欣宸

Java Docker maven 5月月更

eBPF 简介

申屠鹏会

ebpf

“技术商人”溯源考

IT民工大叔

华为 工程师 任正非讲话 商业意识 复合型人才

【linux运维】linux运维会被淘汰吗?会消失在云计算中吗?

行云管家

云计算 IT运维 云运维

java培训SpringBoot 中的各种参数校验

@零度

JAVA开发 springboot

智能手表的机遇与挑战

Geek_99967b

物联网

校企融合,打造金融科技应用人才高地

非凸科技

校企合作 非凸

web前端培训Vue3 TypeScript 如何实现useRequest

@零度

Vue 前端开发

CopyOnWriteArrayList 源码分析-其它方法

zarmnosaj

5月月更

如视技术副总裁杨永林:当传统产业遇到“数字空间”

阿里云弹性计算

视觉计算 数字空间 VR看房

IOC思想开窍之路

留乘船

Java spring ioc

深度推荐系统与CTR预估2019年上半年值得精读的论文_AI&大模型_深度传送门_InfoQ精选文章