写点什么

Field-aware Neural Factorization Machine 阅读笔记

  • 2019-12-02
  • 本文字数:621 字

    阅读完需:约 2 分钟

Field-aware Neural Factorization Machine阅读笔记

提出 Field-aware Neural Factorization Machine 模型,该模型可以通过 FFM 模型构造二阶的交互特征,也可通过 DNN 构建更高阶的交互特征。


FNFM 模型结构如下:



  • Input Layer:x = [x1; x2; . . . ; xf ] ,其中 f 表示特征组的个数,如果是 sparse 的离散特征,xi 就是 one-hot 向量,如果是 dense 的数值特征,就是一个 scalar。

  • Embedding Layer:和传统的做法一样,通过 embedding 层映射到低维度向量。为了交叉合并离散特征和数值特征,dense 的特征也可以通过 embedding 层做处理。

  • Bi-Interaction Concatation Layer:设 xi 和 xj 分别是属于特征组 fi 和 fj 的两个输入特征,那么 second-order feature 交互向量的计算为:

  • 其中的计算符号表示向量间的 element-by-element product operation。 vi,fj 表示输入 xi 和特征组 fj 交互时的向量,vj,fi 表示输入 xj 和特征组 fi 交互时的向量,也就是相同的输入特征与不同的特征组特征交互时,使用的是不同的向量。然后将所有的交互向量 concat 起来。这里有一个创新点:就是传统的 BI 层中采用的是 pooling 层,而这里采用的是 concat 层,原因是为了最大的程度的保留信息不会损失。



Normalization Layer:之后是 BN 层,原因是经过 BI 层之后,输出会变得很不稳定,分布很不均匀。


Multiple Layer Perceptron (MLP) :负责提取高阶的特征。


损失函数还是选择 negative log-likelihood function:




实验结果



本文转载自 Alex-zhai 知乎账号。


原文链接:https://zhuanlan.zhihu.com/p/69503826


2019-12-02 16:242731

评论

发布
暂无评论
发现更多内容

新鲜干货|「隐语城市行·成都站 x 蓉数大讲堂」硬核技术分享、多元场景实践、未来趋势洞察及前沿学术探秘

隐语SecretFlow

厦门大学站回顾|大模型时代的联邦学习

隐语SecretFlow

Tower for Mac:Git管理的终极利器!

Rose

任务分级技术:突破数据分层/加载场景下性能瓶颈

焱融科技

数据分层 任务分级技术 数据加载

开源无代码 / 低代码平台 NocoBase 1.0.0-alpha.15: 新增插件、改进「配置操作」交互

NocoBase

GitHub 开源 低代码 无代码开发 开源开发工具

华为云受邀出席AICon2024 分享AI Agent在企业生产中的技术实践

华为云开发者联盟

人工智能 华为云 华为云开发者联盟 AI Agent 企业号2024年5月PK榜

webstorm2024激活码永久版 webstorm2024下载安装 Mac/win

Rose

分布式任务调度内的 MySQL 分页查询优化

vivo互联网技术

ICP MySQL分页查询优化 主键分页查询执行过程

ChatGPT怎么注册使用?新手如何从入门到精通玩转ChatGPT?

蓉蓉

openai GPT-4 ChatGPT4

Audio Hijack for Mac 音频录制软件 v4.4.2直装版

Rose

GeminiDB PITR,让游戏回档“进退自如”!

华为云开发者联盟

数据库 华为云 华为云开发者联盟 华为云GeminiDB 企业号2024年5月PK榜

什么是生产报工系统、有哪些优势

万界星空科技

制造业 mes 万界星空科技 生产管理 生产报工

Volcano社区新版本发布!7大功能全面增强队列能力与调度稳定性

华为云开发者联盟

Kubernetes 华为云 Volcano 华为云开发者联盟 企业号2024年5月PK榜

视觉特效制作解决方案 Autodesk Flame 2025 mac系统要求

Rose

autodesk maya 2025.1破解版(玛雅2025中文版) 下载

Rose

DeepRec Extension 打造稳定高效的分布式训练

阿里云大数据AI技术

人工智能 阿里云 分布式

2024华为影像品牌之夜,科技赋能艺术,影像创新无界

新消费日报

Field-aware Neural Factorization Machine阅读笔记_语言 & 开发_Alex-zhai_InfoQ精选文章