【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

如何使用 MeLU 解决用户冷启动问题

  • 2022-03-01
  • 本文字数:1968 字

    阅读完需:约 6 分钟

如何使用MeLU解决用户冷启动问题

MeLU 全称为 Meta-Learned User Preference Estimator for Cold-Start Recommendation,旨在解决推荐中的冷启动问题,能够保证新用户只有少量行为的基础上训练出一个不过拟合并且效果不错的模型。除此之外 MeLU 还可以找到验证商品集,将这些验证商品集展示给新用户能帮助推荐系统更快速的识别出用户兴趣。

MAML


首先我们需要先介绍一下 MeLU 里面的核心算法:Model-Agnostic Meta-Learning,本文简称 MAML。该算法的目的是给定一个新任务,我们能通过该任务下极少量的样本达到一个不错的模型效果。因为样本比较少因此模型的训练迭代次数也会很少。这种能力对于模型来说很难,因为样本少的情况下很容易过拟合,让模型学习出只适用于这几个样本的一些无用的知识。另一方面人类却很擅长这方面,我们总是能找出新领域和自己已经积累的知识的联系,比如人类有语言大师,同时掌握很多门语言。他们在掌握一两门语言的基础上,会利用自己学习语言的经验比其他人更快的掌握新的语言。你可以理解为这些语言大师其实学到了某种元知识,适用于所有语言,而不是只适用于某一种语言。这种元知识帮助他们更快的学习新的语言。用模型的语言描述一下就是:对于新任务,在元知识的基础上经过几步 back propagation 就能达到比较低的 loss。

 

MAML 的伪代码如下。其实 MAML 就是在显式的建模上述描述的过程:让模型学习元知识,而不是只适用于某一个任务的知识。假设我们有 T 个任务,p(T)表示训练时从这些任务里面抽样的概率,实践中完全随机采样也可以当作一种概率分布。我们要学习的元知识就是θ。我们通过概率分布获得一些需要训练的任务。之后针对每个任务我们拿 K 个样本进行梯度下降,并拿这个梯度更新原始参数得到θ。之后把更新后的参数带入损失函数得到 loss,这个 loss 代表了θ经过一步迭代之后的模型效果(这里也可以进行多步迭代)。这个 loss 越小,表示θ越有效,即能在极少迭代的情况下达到一个不错的模型精度。这里完全和我们上面描述的元知识匹配。并且这里的梯度方向是所有任务梯度的加和,得到的元知识也是适用于所有任务的。注意到θ是通过间接影响到最终的 loss。



实践中第 6 步和第 8 步用于计算梯度的样本是不相交的,第 6 步的样本用于减少具体任务的 loss,叫做 support set,同时这一步的参数更新称为 local update。第 8 步用于验证经过几步迭代后的效果,叫做 query set, 同时这一步的参数更新称为 global update。

 

当一个新的任务来的时候,只有 support set,我们通过 support set 进行训练后使用模型进行预测。可以看到 MAML 只储存适用全部任务的元知识,如果应用于某一个新任务是需要先在 support set 上基于元知识来训练的。

User preference estimator


在推荐领域,我们可以把学习不同用户的兴趣偏好当作不同的任务,这样就能从老用户丰富的行为里面学习到能快速迁移到新用户的元知识。用户兴趣识别模型如下,其中 input layer 就是用户侧和商品侧的泛化特征,比如用户年龄、用户邮编、内容体裁、内容的演员等等。注意这里是没有任何 uid、gid 等能唯一标记用户或者内容的特化特征的。然后 input layer 的原始特征经过 embedding 之后就 concat 起来经过几层 nn(决策层)输出最终的预测结果。上述模型的全部参数就是我们所需要的元知识。利用上面 MAML 的流程优化得到的θ能够保证对所有用户来说,进行几步迭代之后(给定几个用户行为过的商品进行训练), 得到的 loss 最低。



区分通用参数和个性化参数


MeLU 不仅仅是直接套用 MAML 的框架,而是做了如下的修改



上图可以清晰的看到 local update 的时候不是更新全部参数的,而是只更新决策层,泛化特征的 emb 不会进行更新。也就是如果两个泛化特征相同的用户对同类的内容反馈不一样的时候,只调整决策层。泛化特征不负责特定用户的个性化兴趣。举个例子来说比如两个都是 18 岁的男性,第一个对恐怖电影有正反馈,第二个有负反馈,这两个样本对应的 embeding layer 是完全一样的,但是却有相反的 label,梯度回传的时候会导致泛化特征的 emb 学习的不稳定。因此需要把用户个性化的信息储存在决策层。所以整个的 MeLU 训练流程如下:



表示泛化特征的 embedding,表示决策层的参数


当我们需要预测新用户的时候,需要把新用户行为过的内容作为 support set 来 local update,之后拿训练好的模型进行预测。

验证商品集


MeLU 另一个作用是可以找出验证商品,验证商品可以理解为能帮助模型快速识别用户兴趣的商品。



如果有一个商品在决策层的平均梯度越大,表示我们需要越费力气从元知识进行改变来适配这个用户对商品的反馈。也就表示这个商品对用户的个人兴趣影响越大并且不同于普适的规则。所以我们可以给新用户展示这些决策层平均梯度大的商品来帮助模型更快的识别用户的兴趣。但是我们还需要保证这个商品的典型性,也就是大部分人都行为过这个商品,保证这个商品不是小众而变的特殊。MeLU 最终会根据上面两个维度进行归一加权,找出符合要求的商品集。

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2022-03-01 12:241951

评论

发布
暂无评论
发现更多内容

网易云商·七鱼智能客服自适应 ProtoStuff 数据库缓存实践

网易智企

Java 数据库 缓存

忙碌的七个层次

宇宙之一粟

生活 工作

央国企数字化转型 6 大挑战如何应对?中国信通院 IOMM 方法论提 6 点参考对策

信通院IOMM数字化转型团队

数字化转型 IOMM 央国企数字化转型

赋能企业数智转型新动力,迈向票据等分化新时代

用友BIP

即时通讯技术文集(第15期):IM跨平台和社交软件红包技术 [共19篇]

JackJiang

网络编程 即时通信 即时通讯IM

AIGC背后的技术分析 | 知识图谱

TiAmo

自然语言处理 机器学习 知识图谱 AIGC

生态伙伴 | 硬创大赛新起航!携手华强科创广场,助力硬科技创业者

华秋电子

JMeter笔记6 | JMeter录制(配置代理)

测试 Jmeter 性能测试 自动化测试 接口测试

Unsafe Unlink:unlink利用

郑州埃文科技

漏洞

小程序技术助力智慧家居生态互联

FinFish

智慧城市 小程序容器 智慧家居 小程序化 小程序技术

机器学习服务语音合成,解锁智能养娃新趋势

HMS Core

HMS Core

IPv6定义以及优势说明-行云管家

行云管家

网络 ipv6

海量主机自动化运维软件用哪款好?具体功能有哪些?

行云管家

主机 云主机 自动化运维

基于 KONOS 编写一个部门级的前端框架

鲸品堂

前端 前端框架 企业号 5 月 PK 榜 konos

浅析AIGC for MMKG

华为云开发者联盟

人工智能 华为云 AIGC 华为云开发者联盟 企业号 5 月 PK 榜

Dynamic Wallpaper Mac(视频动态壁纸) v14.3免激活

真大的脸盆

Mac Mac 软件 视频动态壁纸 高清动态壁纸

RocketMQ 在小米的多场景灾备实践案例

Apache RocketMQ

RocketMQ

FEELM在英国发布全新升级一次性解决方案,思摩尔打造增长新引擎

科技热闻

TOB行业头条专访伙伴云CEO戴志康:GPT带来的AIGC热潮,改造了低代码?

联营汇聚

第五届金蝶云・苍穹追光者开发大赛报名正式启动,百万奖金等你拿

金蝶云·苍穹

低代码 低代码平台 开发者大赛 金蝶 金蝶云苍穹

火山引擎DataLeap数据调度实例的 DAG 优化方案 (二):功能设计

字节跳动数据平台

大数据平台 DAG DataLeap

构建新一代智慧园区移动应用以推动数字转型

FinFish

智慧城市 移动开发 智慧园区 小程序容器 小程序技术

硬科技,创未来!第十五届深创赛福田预选赛-华秋第九届硬创大赛正式启幕

华秋电子

大央企的“中央厨房”,泰裤辣!

用友BIP

数智化底座

数据智能加持下,中小微企业告别“融资难”

华为云开发者联盟

云计算 后端 华为云 华为云开发者联盟 企业号 5 月 PK 榜

EhViewer软件2023最新白色版中文语言

ehviewer

EhViewer

打造公用事业行业数智化标杆!泉州水务集团财务共享系统建设项目启动

用友BIP

财务共享

在Mac电脑上运行 PC 游戏

互联网搬砖工作者

住宅代理的未来:挑战、趋势和机遇

摘星星的猫

共享电单车如何投放运营?流程介绍!

共享电单车厂家

共享电动车厂家 本铯智能电动车厂家 共享电动车投放 共享电单车运营

热技术冷思考:AIGC为SaaS带来的不能只有盲目自信

ToB行业头条

如何使用MeLU解决用户冷启动问题_语言 & 开发_yancy_InfoQ精选文章