写点什么

五大人工智能顶会 2019 必读的深度推荐系统相关的论文

2019 年 8 月 23 日

五大人工智能顶会2019必读的深度推荐系统相关的论文

本文来自“深度推荐系统”专栏,这个系列将介绍在深度学习的强力驱动下,给推荐系统工业界所带来的最前沿的变化。本文主要总结一下深度推荐系统相关的几大顶会(包含 ICML2019/ KDD2019/ IJCAI2019/ WWW2019)必读的几篇论文,各位老铁学不动也得学,请收好。


强化学习


1. Generative Adversarial User Model for Reinforcement Learning Based Recommendation System, ICML 2019


作者:Xinshi Chen、Shuang Li、Hui Li、Shaohua Jiang、Yuan Qi、Le Song


论文解读


在蚂蚁金服被 ICML 2019 接收的这篇论文中,作者们提出用生成对抗用户模型作为强化学习的模拟环境,先在此模拟环境中进行线下训练,再根据线上用户反馈进行即时策略更新,以此大大减少线上训练样本需求。此外,作者提出以集合(set)为单位而非单个物品(item)为单位进行推荐,并利用 Cascading-DQN 的神经网络结构解决组合推荐策略搜索空间过大的问题[1]。


深度 CTR 预估


说到深度 CTR 预估的模型,就得祭出网上广为流传的这张图。今年到现在为止,下图深度 CTR 预估的图谱(深度 CTR 预估图谱来源于王喆老师的《谷歌、阿里等 10 大深度学习 CTR 模型最全演化图谱》一文)左边 DIN 家族系列进行了进一步的丰富。学不动也得学,老铁。



2. Deep Session Interest Network for Click-Through Rate Prediction, IJCAI 2019


作者:Yufei Feng, Fuyu Lv, Weichen Shen, Menghan Wang, Fei Sun, Yu Zhu, Keping Yang


论文代码


阿里 at IJCAI 2019,考虑到不同用户行为序列的 session 内行为同构与 session 之间行为异构的特性提出了基于 sesssion 的 CTR 预估模型 DSIN。使用 self-attention 机制抽取 session 内用户兴趣,使用 Bi-LSTM 针对用户跨 session 兴趣进行建模。


3. Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction, KDD 2019


作者:Qi Pi, Weijie Bian, Guorui Zhou, Xiaoqiang Zhu, Kun Gai


论文


阿里 at KDD2019,通过引入 UIC 存储单元与 MIMN 模型联合设计,解决用户超长行为历史下 CTR 预估建模与在线预测性能瓶颈,效果好于 GRU4Rec 和 DIEN。


4. Behavior Sequence Transformer for E-commerce Recommendation in Alibaba


作者:Qiwei Chen, Huan Zhao, Wei Li, Pipei Huang, Wenwu Ou


论文解读


阿里巴巴搜索推荐事业部的新研究,首次使用强大的 Transformer 模型捕获用户行为序列的序列信号,供电子商务场景的推荐系统使用。原有 DIN 提出使用注意力机制来捕获候选项与用户先前点击商品之间的相似性,但未考虑用户行为序列背后的序列性质。离线实验和在线 A/B 测试表明,BST 与现有方法相比有明显优势。目前 BST 已经部署在淘宝推荐的 rank 阶段,每天为数亿消费者提供推荐服务[2]。


5. BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer


作者:Fei Sun, Jun Liu, Jian Wu, Changhua Pei, Xiao Lin, Wenwu Ou, Peng Jiang


论文


Transformer 引入推荐系统工业界,应用于利用用户历史点击序列预测下一个点击 item,效果超过 GRU4Rec。


6. Joint Optimization of Tree-based Index and Deep Model for Recommender Systems


作者:Qi Pi, Weijie Bian, Guorui Zhou, Xiaoqiang Zhu, Kun Gai


论文TDM论文


还记得阿里 at KDD 2018 的深度树匹配召回模型 TDM 吗?升级版 JTM 提出索引与模型同时优化的方案,大幅提升召回效果。


Graph Embedding


7. NetSMF: Large-Scale Network Embedding as Sparse Matrix Factorization, WWW 2019


作者:Jiezhong Qiu, Yuxiao Dong, Hao Ma, Jian Li, Chi Wang, Kuansan Wang, Jie Tang


论文代码


提出适用于大规模网络表示学习方法 NetSMF,利用稀疏矩阵分解来学习大规模网络 embedding,相对于现有方法 DeepWalk/ LINE/ Node2Vec 等极大地提高了学习效率,并开源了代码。


8. Representation Learning for Attributed Multiplex Heterogeneous Network, KDD 2019


作者:Yukuo Cen, Xu Zou, Jianwei Zhang, Hongxia Yang, Jingren Zhou, Jie Tang


论文代码解读


传统的网络(图)表示学习方法一般只针对同构的图,但是实际的图往往都是异构的。只包含异构节点的图的表示学习已经被广泛研究,例如 metapath2vec 提出了异构的 random walk 和 skip gram。而包含异构边的图的表示学习近来开始被大家所关注,比如 MNE 给每个点学习多种表示来处理异构边的情形。


这个算法目前在阿里电商场景下得到应用,阿里的数据由用户和商品构成的图就是异构的,不仅包含异构的节点(用户和商品),而且包含异构的边(用户和商品的多种交互行为,比如点击、购买等)。不仅如此,图中的节点还包含着丰富的属性。本文处理的就是这种包含异构节点和异构边的图的表示学习[3]。


9. ProNE: Fast and Scalable Network Representation Learning, IJCAI 2019


作者:Jie Zhang, Yuxiao Dong, Yan Wang, Jie Tang, Ming Ding


论文代码


ProNE 利用矩阵的稀疏性,本质上是用一个低通滤波对原矩阵进行滤波,大大提高了速度,可以得到 10-400 倍的加速比。


10. Large Scale Evolving Graphs with Burst Detection, IJCAI 2019


作者:Yifeng Zhao, Xiangwei Wang, Hongxia Yang, Le Song and Jie Tang


论文


动态网络的表示学习最近引起广泛关注,清华今年和阿里巴巴在 IJCAI 上提出一个叫做 BurstGraph 的模型,有意思的是主要通过 burst 的 detection 来你和动态网络,这和传统大家都希望拟合一个平滑的动态模型不同。


参考文献


[1] 强化学习用于推荐系统,蚂蚁金服提出生成对抗用户模型


[2] 谷歌、阿里等10大深度学习CTR模型最全演化图谱


[3] 阿里将 Transformer 用于淘宝电商推荐


[4] 阿里电商场景下的大规模异构网络表示学习


[5] 唐杰THU老师的微博


本文授权转载自知乎专栏“深度推荐系统”。原文链接:https://zhuanlan.zhihu.com/p/69050253


2019 年 8 月 23 日 08:009713

评论

发布
暂无评论
发现更多内容

话题讨论 | Vue凭什么成为2020的一匹黑马?

黑马腾云

话题讨论

JVM垃圾回收?全面详细安排!

程序员的时光

JVM GC

5G多输入多输出技术,到底是个啥东东?

华为云开发者社区

5G 输入 输出

我摊牌了,大厂面试Linux就这5个问题

艾小仙

Java Linux 面试 大厂

软件开发中的防呆方法总结

张明云

DevOps 软件开发 技术架构 防呆 模式

话题讨论 | 用好VSCode这13款插件和8个快捷键,工作效率提升10倍

柠檬橙

话题讨论

一次产品影响地图的探索之旅

Bruce Talk

敏捷 Agile Product Owner 影响地图

研发管理:敏捷研发下周报的价值

云原生实验室

云原生 敏捷 研发管理 周报

区块链防伪溯源平台开发解决方案

t13823115967

区块链+ 区块链产品溯源

DeFi质押挖矿APP系统开发|DeFi质押挖矿软件开发

开發I852946OIIO

系统开发

vivo官方商城架构演进之路

vivo互联网技术

中台 架构演进 服务化

为什么阿里人能够快速成长?看完他们Java架构进化笔记,我秒懂!

Java架构追梦

Java 学习 架构 面试 成长笔记

美女面试官问我:说说你对序列化的理解

田维常

序列化

《图解数据结构》.pdf

田维常

数据结构

架构师训练营第三周学习总结

Geek_xq

苦修月余,斩获bigo、腾讯offer,面经奉上!

艾小仙

Java 腾讯 面试 腾讯大厂

蕃茄田宋姝梦:科技赋能时代,儿童在线艺术教育的思考

ZEGO即构

redis系统深度学习四:主节点自动化故障恢复——哨兵

linux亦有归途

数据库 redis 大数据 故障

福利 | 这些网站有免费代理IP!

前嗅大数据

大数据 代理IP 网站反爬 免费代理ip 封ip

K8s 将弃用 Docker;TypeScript 超越 C++ 成第四大语言

京东科技开发者

程序人生

全球熵ETV系统APP开发|全球熵ETV软件开发

开發I852946OIIO

系统开发

智慧公安大数据分析平台开发解决方案,情报研判系统建设

WX13823153201

情报研判系统建设

大型团队实践敏捷开发管理的挑战与应对

万事ONES

敏捷开发 研发管理 敏捷开发管理 开发管理

深入灵魂的考验,每行注释都是灵魂的单例模式,源码+实例降临

小Q

Java 学习 架构 面试 设计模式

智慧公安大屏可视化决策系统搭建

t13823115967

智慧公安 智慧大屏可视化

anyRTC 联合 vInClass 打造在线教育上课模式

anyRTC开发者

音视频 WebRTC 在线教育 RTC

鹅厂大佬亲身经历证明,一周上线百万级并发系统

Java架构师迁哥

分布式搜索引擎Elasticsearch的架构分析

vivo互联网技术

elasticsearch 分布式 分布式搜索引擎

系统稳定性建设实践总结

架构精进之路

系统架构 自我思考 系统稳定性

干货分享!用心满满:面试前必知必会的二分查找及其变种

比伯

Java 编程 架构 面试 计算机

架构探索:事务处理一

carol

五大人工智能顶会2019必读的深度推荐系统相关的论文-InfoQ