写点什么

Field-aware Neural Factorization Machine 阅读笔记

  • 2019-12-02
  • 本文字数:621 字

    阅读完需:约 2 分钟

Field-aware Neural Factorization Machine阅读笔记

提出 Field-aware Neural Factorization Machine 模型,该模型可以通过 FFM 模型构造二阶的交互特征,也可通过 DNN 构建更高阶的交互特征。


FNFM 模型结构如下:



  • Input Layer:x = [x1; x2; . . . ; xf ] ,其中 f 表示特征组的个数,如果是 sparse 的离散特征,xi 就是 one-hot 向量,如果是 dense 的数值特征,就是一个 scalar。

  • Embedding Layer:和传统的做法一样,通过 embedding 层映射到低维度向量。为了交叉合并离散特征和数值特征,dense 的特征也可以通过 embedding 层做处理。

  • Bi-Interaction Concatation Layer:设 xi 和 xj 分别是属于特征组 fi 和 fj 的两个输入特征,那么 second-order feature 交互向量的计算为:

  • 其中的计算符号表示向量间的 element-by-element product operation。 vi,fj 表示输入 xi 和特征组 fj 交互时的向量,vj,fi 表示输入 xj 和特征组 fi 交互时的向量,也就是相同的输入特征与不同的特征组特征交互时,使用的是不同的向量。然后将所有的交互向量 concat 起来。这里有一个创新点:就是传统的 BI 层中采用的是 pooling 层,而这里采用的是 concat 层,原因是为了最大的程度的保留信息不会损失。



Normalization Layer:之后是 BN 层,原因是经过 BI 层之后,输出会变得很不稳定,分布很不均匀。


Multiple Layer Perceptron (MLP) :负责提取高阶的特征。


损失函数还是选择 negative log-likelihood function:




实验结果



本文转载自 Alex-zhai 知乎账号。


原文链接:https://zhuanlan.zhihu.com/p/69503826


2019-12-02 16:242695

评论

发布
暂无评论
发现更多内容

使用transform制作书本翻页效果

空城机

JavaScript 大前端 4月日更 书本翻页

如何利用ipad随时随地开发代码

程序员石磊

ipad 编程 远程

磁盘快照服务USnap:公有云连续数据保护(CDP)系统升级改造实践

UCloud技术

借助 Serverless 容器服务Cube,筷子科技轻松打造 10 万+ 爆款短视频

UCloud技术

5分钟教你学会GaussDB数据分布策略设计

华为云开发者联盟

数据库 分布式数据库 GaussDB GaussDB(for openGauss) 数据分布

Python基础之:struct和格式化字符

程序那些事

Python 数据分析 程序那些事

web简易视频聊天室+媒体流插入

anyRTC开发者

大前端 音视频 WebRTC RTC

维度数据模型建模过程(Kimball)

大数据技术指南

数据仓库 维度建模 4月日更

合约跟单系统开发|合约跟单APP软件开发

量化合约机器人APP开发|量化合约机器人软件系统开发

系统开发

十大经典系统架构设计面试题

程序员石磊

架构 面试 架构设计

中国SaaS的终局:神仙打架,小鬼遭殃

ToB行业头条

HTTPS双向认证

上海派拉基础研发

https HTTP ssl SSL 连接

13年Java开发经验精华总结!29大核心知识模块,带你直达架构师!

Java架构追梦

Java 阿里巴巴 架构 全栈知识点

合约量化交易APP开发|合约量化交易系统软件开发

系统开发

很坑的Could not transfer artifact报错

01Running

maven Mac IDEA

聪明人的训练(十六)

Changing Lin

4月日更

合约量化机器人系统开发|合约量化机器人软件APP开发

系统开发

Linux df 命令

一个大红包

linux命令 4月日更

我们真的可以使世界成为无密码的地方吗?

龙归科技

网络 安全性

一周信创舆情观察(4.5~4.11)

统小信uos

征服耶鲁教授的算法大神程序媛,是如何践行“以人为本”开发智慧社区大脑的?

华为云开发者联盟

算法 音视频 智慧社区 华为智慧园区数字平台 数字平台

深入浅出带你掌握线程、多线程和线程池

华为云开发者联盟

Java 线程 多线程 线程池 操作系统

vue2的$refs在vue3组合式API中的替代方法

devpoint

Vue3 $refs vue2 this.$refs

MySQL性能监控与调优

Sakura

4月日更

合约量化交易机器人系统开发|合约量化交易机器人APP软件开发

使用Python映射,过滤和缩减函数:所有您需要知道的

华为云开发者联盟

Python 函数 映射 内置函数

【有奖征文】WEB前端大作战,走在技术最前端!

华为云开发者联盟

node.js Vue 大前端 Web Web框架

在有道 | L同学:一位十五年有道人的成长故事

有道技术团队

分享 访谈录 阅读 网易有道

拍乐云入选 2021 爱分析·产业数字化厂商全景报告

拍乐云Pano

RTC

构建智慧金融新引擎|DataPipeline与巨杉数据库完成产品兼容互认证

DataPipeline数见科技

Field-aware Neural Factorization Machine阅读笔记_语言 & 开发_Alex-zhai_InfoQ精选文章