写点什么

Field-aware Neural Factorization Machine 阅读笔记

  • 2019-12-02
  • 本文字数:621 字

    阅读完需:约 2 分钟

Field-aware Neural Factorization Machine阅读笔记

提出 Field-aware Neural Factorization Machine 模型,该模型可以通过 FFM 模型构造二阶的交互特征,也可通过 DNN 构建更高阶的交互特征。


FNFM 模型结构如下:



  • Input Layer:x = [x1; x2; . . . ; xf ] ,其中 f 表示特征组的个数,如果是 sparse 的离散特征,xi 就是 one-hot 向量,如果是 dense 的数值特征,就是一个 scalar。

  • Embedding Layer:和传统的做法一样,通过 embedding 层映射到低维度向量。为了交叉合并离散特征和数值特征,dense 的特征也可以通过 embedding 层做处理。

  • Bi-Interaction Concatation Layer:设 xi 和 xj 分别是属于特征组 fi 和 fj 的两个输入特征,那么 second-order feature 交互向量的计算为:

  • 其中的计算符号表示向量间的 element-by-element product operation。 vi,fj 表示输入 xi 和特征组 fj 交互时的向量,vj,fi 表示输入 xj 和特征组 fi 交互时的向量,也就是相同的输入特征与不同的特征组特征交互时,使用的是不同的向量。然后将所有的交互向量 concat 起来。这里有一个创新点:就是传统的 BI 层中采用的是 pooling 层,而这里采用的是 concat 层,原因是为了最大的程度的保留信息不会损失。



Normalization Layer:之后是 BN 层,原因是经过 BI 层之后,输出会变得很不稳定,分布很不均匀。


Multiple Layer Perceptron (MLP) :负责提取高阶的特征。


损失函数还是选择 negative log-likelihood function:




实验结果



本文转载自 Alex-zhai 知乎账号。


原文链接:https://zhuanlan.zhihu.com/p/69503826


2019-12-02 16:242688

评论

发布
暂无评论
发现更多内容

架构师训练营第十章总结

叮叮董董

微服务与DDD学习总结

qihuajun

Newbe.Claptrap 框架如何实现 Claptrap 的多样性?

newbe36524

容器 微服务 .net core ASP.NET Core

如何优雅的编写GO程序?

八两

优雅 语法 Go 语言

第十周命题作业

赵龙

第十周学习总结

赵龙

远程办公暴露过程管理的不足

持续交付实践指南

管理 软件工程 远程办公

40张图入门Linux——(前端够用,运维入门)

执鸢者

Linux 大前端

架构师训练营--第10周作业

Just顾

可读代码编写炸鸡十 - 保持单纯

多选参数

代码质量 代码 代码优化 可读代码编写 可读代码

链表应用之设计高性能访客记录系统

架构师修行之路

数据结构 链表 架构师

socket通信,你还会实现么?

小隐乐乐

关于微服务架构(中台架构、领域驱动设计、组件设计原则)的一点思考

jason

招银网络问了啥?这么尬?妥妥的安排

我是程序员小贱

架构师训练营第十周作业

qihuajun

[翻译]分布式系统的模式-综述

流沙

架构 分布式系统

架构师训练营第十章作业

叮叮董董

芯片破壁者(十一):回看日本半导体的倾塌

脑极体

Code Review 失败后总结的几个实践技巧

Phoenix

团队管理 团队协作 技术人 代码质量

Week 10

一叶知秋

炸裂!40+图万字长文拿下HTTP

我是程序员小贱

计算机网络

我期待,这是个多彩的世界

瓜藤老祖

大三儿 乐队的夏天 九连真人

Go make 和 new 的区别

曲镇

make Go 语言

Dubbo源码分析--dubbo-config配置层的套路

jason

六张图从HTTP/0.9进化到HTTP3.0

执鸢者

大前端 网络 HTTP

troubleshoot之:使用JFR解决内存泄露

程序那些事

Java 内存泄露 性能调优

环信助力OFashion迷橙开辟海外直播带货新通路

DT极客

热乎的宇宙条总部面经,已拿offer,速来围观

我是程序员小贱

腾讯一面面试官让我关闭连接

我是程序员小贱

有意思:Go函数的闭包

申屠鹏会

闭包 函数 Go 语言

一文读懂GaussDB(for Mongo)的计算存储分离架构

华为云开发者联盟

数据库 mongodb 数据 GaussDB 存储分离

Field-aware Neural Factorization Machine阅读笔记_语言 & 开发_Alex-zhai_InfoQ精选文章