【FCon上海】与行业领袖共话AI大模型、数字化风控等前沿技术。 了解详情
写点什么

五大人工智能顶会 2019 必读的深度推荐系统相关的论文

  • 2019-08-23
  • 本文字数:2362 字

    阅读完需:约 8 分钟

五大人工智能顶会2019必读的深度推荐系统相关的论文

AI 大模型超全落地场景&金融应用实践,8 月 16 - 19 日 FCon x AICon 大会联诀来袭、干货翻倍!

本文来自“深度推荐系统”专栏,这个系列将介绍在深度学习的强力驱动下,给推荐系统工业界所带来的最前沿的变化。本文主要总结一下深度推荐系统相关的几大顶会(包含 ICML2019/ KDD2019/ IJCAI2019/ WWW2019)必读的几篇论文,各位老铁学不动也得学,请收好。

强化学习

1. Generative Adversarial User Model for Reinforcement Learning Based Recommendation System, ICML 2019


作者:Xinshi Chen、Shuang Li、Hui Li、Shaohua Jiang、Yuan Qi、Le Song


论文解读


在蚂蚁金服被 ICML 2019 接收的这篇论文中,作者们提出用生成对抗用户模型作为强化学习的模拟环境,先在此模拟环境中进行线下训练,再根据线上用户反馈进行即时策略更新,以此大大减少线上训练样本需求。此外,作者提出以集合(set)为单位而非单个物品(item)为单位进行推荐,并利用 Cascading-DQN 的神经网络结构解决组合推荐策略搜索空间过大的问题[1]。

深度 CTR 预估

说到深度 CTR 预估的模型,就得祭出网上广为流传的这张图。今年到现在为止,下图深度 CTR 预估的图谱(深度 CTR 预估图谱来源于王喆老师的《谷歌、阿里等 10 大深度学习 CTR 模型最全演化图谱》一文)左边 DIN 家族系列进行了进一步的丰富。学不动也得学,老铁。



2. Deep Session Interest Network for Click-Through Rate Prediction, IJCAI 2019


作者:Yufei Feng, Fuyu Lv, Weichen Shen, Menghan Wang, Fei Sun, Yu Zhu, Keping Yang


论文代码


阿里 at IJCAI 2019,考虑到不同用户行为序列的 session 内行为同构与 session 之间行为异构的特性提出了基于 sesssion 的 CTR 预估模型 DSIN。使用 self-attention 机制抽取 session 内用户兴趣,使用 Bi-LSTM 针对用户跨 session 兴趣进行建模。


3. Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction, KDD 2019


作者:Qi Pi, Weijie Bian, Guorui Zhou, Xiaoqiang Zhu, Kun Gai


论文


阿里 at KDD2019,通过引入 UIC 存储单元与 MIMN 模型联合设计,解决用户超长行为历史下 CTR 预估建模与在线预测性能瓶颈,效果好于 GRU4Rec 和 DIEN。


4. Behavior Sequence Transformer for E-commerce Recommendation in Alibaba


作者:Qiwei Chen, Huan Zhao, Wei Li, Pipei Huang, Wenwu Ou


论文解读


阿里巴巴搜索推荐事业部的新研究,首次使用强大的 Transformer 模型捕获用户行为序列的序列信号,供电子商务场景的推荐系统使用。原有 DIN 提出使用注意力机制来捕获候选项与用户先前点击商品之间的相似性,但未考虑用户行为序列背后的序列性质。离线实验和在线 A/B 测试表明,BST 与现有方法相比有明显优势。目前 BST 已经部署在淘宝推荐的 rank 阶段,每天为数亿消费者提供推荐服务[2]。


5. BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer


作者:Fei Sun, Jun Liu, Jian Wu, Changhua Pei, Xiao Lin, Wenwu Ou, Peng Jiang


论文


Transformer 引入推荐系统工业界,应用于利用用户历史点击序列预测下一个点击 item,效果超过 GRU4Rec。


6. Joint Optimization of Tree-based Index and Deep Model for Recommender Systems


作者:Qi Pi, Weijie Bian, Guorui Zhou, Xiaoqiang Zhu, Kun Gai


论文TDM论文


还记得阿里 at KDD 2018 的深度树匹配召回模型 TDM 吗?升级版 JTM 提出索引与模型同时优化的方案,大幅提升召回效果。

Graph Embedding

7. NetSMF: Large-Scale Network Embedding as Sparse Matrix Factorization, WWW 2019


作者:Jiezhong Qiu, Yuxiao Dong, Hao Ma, Jian Li, Chi Wang, Kuansan Wang, Jie Tang


论文代码


提出适用于大规模网络表示学习方法 NetSMF,利用稀疏矩阵分解来学习大规模网络 embedding,相对于现有方法 DeepWalk/ LINE/ Node2Vec 等极大地提高了学习效率,并开源了代码。


8. Representation Learning for Attributed Multiplex Heterogeneous Network, KDD 2019


作者:Yukuo Cen, Xu Zou, Jianwei Zhang, Hongxia Yang, Jingren Zhou, Jie Tang


论文代码解读


传统的网络(图)表示学习方法一般只针对同构的图,但是实际的图往往都是异构的。只包含异构节点的图的表示学习已经被广泛研究,例如 metapath2vec 提出了异构的 random walk 和 skip gram。而包含异构边的图的表示学习近来开始被大家所关注,比如 MNE 给每个点学习多种表示来处理异构边的情形。


这个算法目前在阿里电商场景下得到应用,阿里的数据由用户和商品构成的图就是异构的,不仅包含异构的节点(用户和商品),而且包含异构的边(用户和商品的多种交互行为,比如点击、购买等)。不仅如此,图中的节点还包含着丰富的属性。本文处理的就是这种包含异构节点和异构边的图的表示学习[3]。


9. ProNE: Fast and Scalable Network Representation Learning, IJCAI 2019


作者:Jie Zhang, Yuxiao Dong, Yan Wang, Jie Tang, Ming Ding


论文代码


ProNE 利用矩阵的稀疏性,本质上是用一个低通滤波对原矩阵进行滤波,大大提高了速度,可以得到 10-400 倍的加速比。


10. Large Scale Evolving Graphs with Burst Detection, IJCAI 2019


作者:Yifeng Zhao, Xiangwei Wang, Hongxia Yang, Le Song and Jie Tang


论文


动态网络的表示学习最近引起广泛关注,清华今年和阿里巴巴在 IJCAI 上提出一个叫做 BurstGraph 的模型,有意思的是主要通过 burst 的 detection 来你和动态网络,这和传统大家都希望拟合一个平滑的动态模型不同。

参考文献

[1] 强化学习用于推荐系统,蚂蚁金服提出生成对抗用户模型


[2] 谷歌、阿里等10大深度学习CTR模型最全演化图谱


[3] 阿里将 Transformer 用于淘宝电商推荐


[4] 阿里电商场景下的大规模异构网络表示学习


[5] 唐杰THU老师的微博


本文授权转载自知乎专栏“深度推荐系统”。原文链接:https://zhuanlan.zhihu.com/p/69050253


公众号推荐:

AGI 概念引发热议。那么 AGI 究竟是什么?技术架构来看又包括哪些?AI Agent 如何助力人工智能走向 AGI 时代?现阶段营销、金融、教育、零售、企服等行业场景下,AGI应用程度如何?有哪些典型应用案例了吗?以上问题的回答尽在《中国AGI市场发展研究报告 2024》,欢迎大家扫码关注「AI前线」公众号,回复「AGI」领取。

2019-08-23 08:0010291

评论

发布
暂无评论
发现更多内容

架构师训练营 -week02- 作业

大刘

极客大学架构师训练营

架构师训练营第二周作业

郎哲158

极客大学架构师训练营

架构师训练营第二周笔记-带你认识框架设计原则和设计模式

郎哲158

学习 极客大学架构师训练营 框架设计

第二周作业1

sean

罗辑思维(得到APP)要上市了,你不知道的27件事

赵新龙

罗辑思维 IPO

架构师训练营第 2 周课后练习

叶纪想

极客大学架构师训练营

作业一:

静海

VS Code 搭建 C++ 开发环境(Mac 环境)

hungxy

c++ vscode

第二周-学习总结

Yangjing

极客大学架构师训练营

Serverless 的收益与挑战 | 2020年度状态报告

donghui

Serverless

架构师训练营第 1 期 - 第2周 - 学习总结

wgl

Architecture Phase1 Week2:HomeWork

phylony-lu

极客大学架构师训练营

架构师训练营第一期 - 第二周课后作业

卖猪肉的大叔

week2

Geek_deb968

第二周作业

极客大学架构师训练营

第二周作业 (作业二)

Geek_83908e

极客大学架构师训练营

架构师训练营 - 命题作业 - 第二周

徐时良

架构师训练营第 1 期第二周学习总结

郑凯元

极客大学架构师训练营

第二周作业 (作业一)

Geek_83908e

极客大学架构师训练营

第二周作业2

sean

甲方日常 23

句子

生活 随笔杂谈 减肥

第二周 框架设计 学习笔记

应鹏

学习 极客大学架构师训练营

第二周 框架设计 作业一

应鹏

极客大学架构师训练营

架构师训练营 2 期 - 第二周总结

Geek_no_one

极客大学架构师训练营

第二周作业及学习笔记

橘子皮嚼着不脆

设计模式

knight

【架构师训练营第 1 期 02 周】 学习总结

Bear

极客大学架构师训练营

架构师训练营 - 学习笔记 - 第二周

徐时良

架构一期二班-吴水金-第二课作业

吴水金

Week 2 作业 02

Croesus

Architecture Phase1 Week2:Framework Design

phylony-lu

极客大学架构师训练营

五大人工智能顶会2019必读的深度推荐系统相关的论文_AI&大模型_深度传送门_InfoQ精选文章