谷歌在 YouTube 上利用 Transformer 架构进行音乐推荐

谷歌介绍了一种将 Transformer 模型应用于音乐推荐的创新方法。目前，这一技术正在 YouTube 上进行试验性部署，目标是开发出一种能够理解用户在听音乐时的行为模式的推荐系统，通过分析用户的实时互动数据更好地理解用户偏好。

推荐系统通过分析用户的行为——如播放音乐、跳过曲目或对某首歌曲表示喜爱——来捕捉用户偏好，并据此推荐用户可能感兴趣的内容。

谷歌研究团队指出，音乐推荐系统在用户所处环境发生变化时常常表现不佳，例如从在家里听音乐变成在健身房听音乐。这种场景转换可能伴随着用户偏好从舒缓音乐转到更具活力的音乐。研究人员强调，尝试将这些上下文变化考虑在内，导致推荐系统要完成的任务变得更加困难，因为它们需要理解用户在当前上下文中的行为。

他们认为，Transformer 架构在这方面可能会有所用处，因为它特别适合理解输入数据序列，正如自然语言处理（NLP）和大语言模型（LLM）所证实的。谷歌研究团队相信，Transformer 架构有望展现出与理解基于用户上下文的语言相同的能力，从而深入洞察用户的行为序列。

自注意力层能够捕捉句子中单词之间的关系，这表明它们可能具备解析用户行为联系的潜力。在 Transformer 模型中，注意力层通过学习输入 Token 之间的权重分配，类似于分析句子中单词的关系，从而实现对用户行为序列的理解。

谷歌研究团队的目标是将 Transformer 架构从生成式模型转变为理解基于当前上下文的用户行为序列。这种理解随后与个性化排名模型相结合，生成精准的推荐。为了解释用户行为在不同上下文中可能具有的不同含义，研究人员以在健身房听音乐的用户为例，指出他们可能更偏好节奏感强的音乐。而在家中，这类音乐可能会被跳过。因此，在健身房时，推荐系统应降低对这种行为的关注权重。换句话说，推荐系统需要在考虑用户特定上下文与整体用户音乐收听记录之间合理分配注意力权重。

我们仍然会利用他们之前听过的音乐记录，并推荐与他们常听的音乐相似的曲目。实际上，我们正在探索哪些历史记录对于当前音乐排序任务是有价值的，以及哪些不是。

作为对谷歌推荐系统工作原理的简要总结，基于 Transformer 的系统遵循推荐系统的典型流程，分为三个主要阶段：首先从资料库检索项目，然后根据用户行为对项目进行排序，最后通过筛选减少展示给用户的选项。在对项目进行排名时，系统将 Transformer 技术与现有的排名模型相结合。每首歌曲都关联一个叫作“曲目嵌入”的向量，该向量同时用于 Transformer 和排名模型。与用户行为和曲目元数据相关的信号被映射到等长的向量，使得它们能够像曲目嵌入一样处理。例如，当向 Transformer 提供输入时，用户行为嵌入和音乐曲目嵌入会被相加，形成一个 Token。最终，Transformer 的输出与排名模型的输出通过多层神经网络进行融合。

谷歌研究人员的初步实验结果表明，推荐系统的性能得到了提升，具体表现为用户跳过率的降低和音乐播放时间的增加。

查看英文原文：

https://www.infoq.com/news/2024/09/transofrmer-based-recommender/