写点什么

深度学习在 Airbnb 中的探索与应用

2019 年 6 月 27 日

深度学习在 Airbnb 中的探索与应用

本文来自对论文:Applying Deep Learning To Airbnb Search 的解读。


内容大纲


  • 效果概览

  • 模型演进

  • 失败尝试

  • 特征工程

  • 系统介绍


一、效果概览


分为离线和在线俩部分。其中,一个重要指标是 NDCG 标准化文档累计增益,NDCG = DCG/IDCG 。


二、模型演进

演进 1:SimpleNN


超简单网络结构,其特点:


  • 一层隐含层,32 个 ReLUunits

  • 所有用到的特征 GBDT 一样

  • 训练目标与 GBDT 一致,最小化均方误差用户预定了就是 1,没有预定就是 0


结论:


  • SimpleNN 相对 GBDT 排序效果提升较小

  • 验证 NN 的线上可行性


演进 2:LambdaRankNN



网络结构保持不变:


  • 改用 pairwise 损失,并在训练的时候最小化 crossentropy loss

  • 使用 listing 对调带来的 delta NDCG 作为 pairwiseloss 的权重,得到最终的损失函数


结论:


线下小幅度提升 NDCG


线上大幅度提升


演进 3:GBDT/FM NN


在研究 NN 模型的同时,Airbnb 还探索了 GBDT 和 FM 模型。三者线下表现差不多,但是得到的排序结果却很不相同。所以,Airbnb 尝试了将三种模型进行模型结构的融合,也算是常用的做法:


  • 将 GBDT 的每一颗树的预测结果在叶节点中的 index ,作为 categorical feature ,输入到 NN 中;

  • 将 FM 的预测点击概率结果,直接作为特征放到 NN 中。

  • 单隐层全连接使用 ReLU 激活函数



结论:


  • GBDT/FM/SimpleNN 效果基本一致

  • 单纯排序结果三者差异性较大

  • 融合后线上收益较高


演进 4:Deep NN


引入复杂深度模型探索特征空间:


  • 195 个 features 输入 ( 还是把类别型特征 embedding 之后的 )

  • 两层 hiddenlayer 。第一层 127Units 输出,第二层 83Units 输出,使用 ReLU 激活函数。

  • 数据量增加了 10 倍后效果显现



结论:


  • 离线/在线均获得较大收益

  • 离线训练量达到 10 亿量级时,训练与测试之间的效果 gap 消失

  • 强调在 DL 中数据重要性


三、失败尝试

1. 失败 Embedding List


类比 item2vec 对 list ( 这里也是指某 item ) 进行 embedding :


  • 直接使用用户 booking 顺序,产出 list2vec

  • 考虑现实情况,单条 booking 顺序中没有大量的重复数据 ( 低频触发 )

  • 考虑现实冲突,某个 house 一年最多 booking 365 次



结论:


  • 应用于线上带来大量过拟合,更大规模的训练数据也无法消灭低频

  • Airbnb 的现实场景导致 item 冲突约束性,大量房子预订量极低


2. 尝试挽救


发现:


  • Item 预定量低频,但浏览量不低

  • 长时间浏览行为,与 booking 预定行为强相关



尝试:


  • 多任务训练,以预定/浏览时长为多任务目标

  • 隐层共享,利用 view 浏览时长数据修正过拟合,促进 embedding 效果



结论:


  • 线上实验 longview 大幅提升,预订量无显著提升

  • 人工分析,优先推荐:

  • ① 高端但价格高的 item

  • ② 特别而滑稽的 item

  • ③ 文字描述很长的 item


四、特征工程

1. 深度学习也要做特征工程!


认知:


1 ) GBDT 考虑的是有序分裂点,对归一化不敏感


2 ) DL 对特征的绝对数值 较为敏感


  • 较大的数值变化,会在 BP 学习中带来较大的梯度变化

  • 较大数值在 ReLU 作为激活层时,甚至会导致其永久关闭


3 ) 满足一定条件的输入数据,会让深度学习模型表现得更好


  • 特征值映射到 [-1,+1] 区间,中值为 0

  • 输入值尽量稠密平滑,去除输入毛刺点


归一化方法:


1 ) 将满足正太分布的特征归一化:



2 ) 将满足幂度分布的特征归一化:



2. 特征平滑



发现:


  • DL 中的每一层,输出都是越来越平滑

  • 上图中,从下到上,分别是模型每层的输出

  • 如果在输入层就平滑,将会提升泛化能力

  • 底层的平滑输出,将保证高层对未知特征组合的稳定性

  • 便于排查异常,保证特征完整性

  • 下图是预定天数特征,左边为原始预定天数分布,右图为考虑预定天数中值后的分布



3. 特殊特征 ( 经纬度 ) 平滑



经纬度平滑过程:


直接使用经纬度特征,分布极其不均衡 ( 见上图第一层图片 ) 。


第二层图片左图,是对目标地点的距离特征分布,可以看出大部分的点走在原点位置,其他的很多点以原点为中心均匀的分散开来。


第二层图片右图,是对经纬度分别取 log 。


将经纬度的 offset 分别取 log ( 上图最底层图片 ) ,得到基于距离的全局特征,而不是基于特定地理位置的特征。


4. 离散特征 embedding



发现:


  • 虽然 item-embedding 在此场景不适用,但一些零散特征的 embedding 仍然有效 ( 主要针对不可比较、选项较多的离散值特征 )

  • 利用搜索城市后的街道连续点击行为,构建街道 embedding

  • 对全局 query 搜索内容进行初步聚合,再建立 embedding,产出作为用户搜索特征输入


5. 特征重要性评估


失败做法:


  • 分解深度学习的 score,给出每一部分特征重要度

  • 分析:多层非线性断绝分解的希望

  • 依次移除特征,查看模型性能变化。

  • 分析:特征之间不完全独立,在特征工程后尤其如此

  • 随机修改某些特征,查看性能变化

  • 分析:特征依旧不独立,没法排除 noise


成功做法:( TopBot 分析法 )


  • 产出测试集预测的 list 排序

  • 观察某个特征在头部 list 与尾部 list 的区别,有区分度为重要特征

  • 下图中,左侧为 price ,头部 price 比尾部低;右侧为评论数,头部与尾部没区别



五、系统工程

Airbnb 系统介绍:


1. 工程架构


  • JavaServer 处理 query

  • Spark 记录 logs

  • Tensorflow 进行模型训练

  • JavaNNLibrary 线上低延迟预测


2. 数据集


  • GBDT 时代采用 CSV ,读入耗时长

  • Tf 时代改用 Protobufs ,效率提升 17 倍,GPU 利用率达到 90%


3. 统计类特征


  • 大量样本共同拥有的统计类特征,成为数据读取瓶颈

  • 整合统计类特征,将其汇总后,看作不可训练的 embedding 矩阵,作为 tf 的统计特征节点输入层参数


4. 超参数


  • Dropout 层没有带来增益

  • 初始化采用 {-1,1} 的范围均匀随机,比全 0 初始化要好

  • Batchsize 选用 200,最优化使用 lazyAdom


参考资料


Applying Deep Learning To Airbnb Search,论文链接:


https://arxiv.org/abs/1810.09591v2


论文 pdf 版本可直接关注本文公众号,回复“Airbnb”下载。


作者介绍


马宇峰,阅文信息 资深研发工程师 内容挖掘平台技术负责人。前百度高级研发工程师,研究方向主要包括知识图谱、用户理解、推荐系统。曾获 2014 百度知识图谱竞赛第 1 名。


原文链接


https://mp.weixin.qq.com/s?__biz=MzU1NTMyOTI4Mw==&mid=2247491541&idx=1&sn=cd70f902ac265bfb36e95deac352f797&chksm=fbd4adb9cca324afc840c189ddae4f25ae5c1ee1b8405bd3d0c78c0293d87d85a516e1cfa1c0&scene=27#wechat_redirect


2019 年 6 月 27 日 08:008596

评论

发布
暂无评论
发现更多内容

金融科技的碎片化思考(上)

曲水流觞TechRill

金融科技 FinTech

报告|50%CRM品牌陷入竞争旋涡,破圈迫在眉睫

人称T客

Python好找工作吗?

cdhqyj

阿里云高级技术专家李晓成:面向5G的云网一体及云原生应用实践

阿里云Edge Plus

kubernetes 集群升级,备份,故障恢复(kubeadm)

小小文

Kubernetes 群集安装 故障 kubeadm

架构师训练营」第 7 周作业

edd

极客大学架构师训练营

[POJ 1001] Exponentiation JAVA解题报告

一直AC一直爽

算法 刷题 POJ ACM

饿了么4年 + 阿里2年:研发路上的一些总结与思考

程序员生活志

阿里 饿了么 经验总结

又被逼着优化代码,这次我干掉了出入参 Log日志

程序员内点事

Java

Fastjson到了说再见的时候了

YourBatman

Jackson Fastjson JSON库

面向进化的软件架构

星际行者

软件架构 进化

字节跳动李本超:一年成为 Committer,我与 Flink 社区的故事

Apache Flink

flink

一个简单的物联网设备接入网关高可用方案

凸出

Java nginx Netty

Flink 最佳搭档:开发部署平台 Zeppelin 的自白

Apache Flink

智能标注原理揭秘,一文读懂人工智能如何解决标注难题

百度大脑

人工智能 百度 学习 AI 百度大脑

【小白学YOLO】一文带你学YOLOv1 Testing

华为云开发者社区

人工智能 算法 图像识别 什么是多线程

【源码系列】Spring Cloud Gateway

Alex🐒

源码 SpringCloud Gateway

常见的emit实现AOP demo

八苦-瞿昙

随笔 随笔杂谈 aop

BIGO | Likee深度推荐模型的特征工程优化

DT极客

数据分析师 ”痛“ 谁能了解

松子(李博源)

数据分析 产品经理 数据产品 数据模型

程序员开启社交和打造影响力的最佳方式

非著名程序员

程序员 提升认知 写作 程序员成长 社交

提速数字化!区块链加速应用落地,新制造与服务不断推出

CECBC区块链专委会

一口气说出 4 种分布式一致性 Session 实现方式,面试杠杠的~

楼下小黑哥

nginx redis 分布式 session

JAVA算法

Bruce Duan

排序算法 Java算法

[POJ 1000] A+B Problem 经典水题 JAVA解题报告

一直AC一直爽

POJ OJ ACM 水题

【API进阶之路】因为不会创建云服务器,我被实习生摆了一道

华为云开发者社区

虚拟机 服务器 API 华为云 API接口管理

天府之国迎来数字经济发展高地新契机

CECBC区块链专委会

数字货币 区块链技术 应用落地 人才政策产业

LeetCode 题解:122. 买卖股票的最佳时机 II,JavaScript,一遍循环,详细注释

Lee Chen

前端进阶训练营

网传Intel断供浪潮,英特尔:供应链调整

Geek_116789

存储性能加速引擎之预读

焱融科技

Linux sds 焱融科技 分布式存储 预读

密码学的随机性与区块链随机数

CECBC区块链专委会

深度学习在 Airbnb 中的探索与应用-InfoQ