ArchSummit全球架构师峰会门票9折倒计时中~ 了解详情
写点什么

YouTube 推荐算法原理

  • 2016 年 9 月 27 日
  • 本文字数:859 字

    阅读完需:约 3 分钟

近日,在谷歌刊登的一篇论文中,YouTube 工程师详细地分析了YouTube 推荐算法的内部工作原理。该论文在上周于波士顿举行的第十次ACM 大会上进行了展示。

YouTube 推荐算法以 Google Brain 为基础,后者最近以 TensorFlow 的名称开源。借助 TensorFlow ,开发人员可以使用分布式训练试验不同的深度神经网络结构。该系统包含两个神经网络。第一个生成候选集。它以用户的观看历史作为输入,使用协同过滤算法在数以百计的视频中进行选择。开发和最终部署到生产环境有一个重要的区别,谷歌使用离线指标衡量算法性能,但最终的决定来自对性能最好的算法进行在线A/B 测试。

候选集生成使用用户观看视频的隐式反馈来训练模型。与隐式反馈相比,对于一个视频,类似支持或不支持这样的显式反馈一般很少。对于那些不受欢迎的长尾内容而言,这个问题更为严重。对于新上传的视频,为了加快模型训练速度,每个训练示例的年龄会作为一个特征传入。发现和展示新内容的另一个关键方面是使用所有用户观看过的YouTube 视频(甚至是合作网站的)来训练算法。这样,协同过滤算法可以立刻识别出热门视频。最后,除了实际的观看外,通过增加更多的特征,如搜索深度和视频年龄,YouTube 改善了离线holdout 结果精度。

第二个神经网络用于对这几百个视频进行排序。这个问题比生成候选集简单许多,因为视频的数量较少,而且,对于每个视频及其和用户的关系,有更多的信息可用。该系统使用逻辑回归计算每个视频的得分,然后不断地使用A/B 测试进行改进。这里使用的指标是预期观看时长,因为预期点击数会助长“点击诱饵( clickbait )”。为了基于观看时长而不是点击率进行训练,该系统使用了逻辑回归的一个变种,以观看时长作为正相互作用权重,而负相互作用采用单位权。这之所以可行,部分原因是,“正面印象(positive impressions)”分量比总数小。

YouTube 的推荐系统是业内最为复杂、使用最为频繁的系统之一。这篇论文只提供了一个肤浅的介绍,但即便如此,它也在深度学习系统设计方面提供了一些有用的见解。

查看英文原文 How YouTube’s Recommendation Algorithm Works

2016 年 9 月 27 日 19:005812
用户头像

发布了 1008 篇内容, 共 342.7 次阅读, 收获喜欢 328 次。

关注

评论

发布
暂无评论
发现更多内容

一文了解全面静态代码分析

龙智—DevSecOps解决方案

perforce Helix QAC

为什么各大APP都推出了适老版?

InfoQ IT百科

现在有没有可以真正称得上是元宇宙的应用?

InfoQ IT百科

“如何实现集中管理、灵活高效的CI/CD”在线研讨会精彩内容分享

龙智—DevSecOps解决方案

CI/CD CloudBees

精彩联动!OpenMLDB Pulsar Connector原理和实操

第四范式开发者社区

机器学习 数据库 特征 特征平台 连接器

龙智被评估为CMMI [3] 级

龙智—DevSecOps解决方案

CMMI 龙智

IoT平台如何实现业务配置中心

华为云开发者联盟

运维 物联网平台 内存 业务配置 业务配置中心

如何快速搭建一个像叮咚买菜这样的APP?

InfoQ IT百科

教你轻松解决CSRF跨站请求伪造攻击

华为云开发者联盟

CSRF 信任 攻击 跨站请求伪造 跨站

解决方案| 快对讲调度系统:高效协作

anyRTC开发者

音视频 调度 实时通讯 实时消息 对讲

星汉未来成为FinOps产业推进方阵共建单位

星汉未来

运维 云原生 星汉未来 FinOps

InfoQ 入驻快讯

Apache IoTDB

Apache IoTDB

星环科技基础软件产品全面落地开花,为企业数字化转型带来“星”动能

星环科技

中商惠⺠交易中台架构演进:对 Apache ShardingSphere 的应⽤

SphereEx

Apache 数据库 ShardingSphere SphereEx

从B站和小红书看,如何做好社区产品?

InfoQ IT百科

阿里超大规模 Flink 集群运维体系介绍

Apache Flink

大数据 flink 编程 运维 实时计算

剖析GPU未来发展方向

Finovy Cloud

人工智能 云服务器 GPU服务器 GPU算力

企业官网有啥用?一定要搭建官方网站吗?

源字节1号

微信小程序 网站开发

最佳实践 | 通过使用 Jira Service Management 改进 HR 工作流程

龙智—DevSecOps解决方案

Atlassian jsm

机器学习算法和架构在MLOps框架下的工程实践

博文视点Broadview

星汉未来云原生基础治理平台SchedulX V1.1.0 重磅发布,助力企业降本增效

星汉未来

运维 云原生 k8s 智能运维 星汉未来

有道词典Android客户端包体积优化之路

有道技术团队

andiod Groovy

二进制文件版本控制工具选择难?看完这篇你会找到答案

龙智—DevSecOps解决方案

perforce Helix Core

以用户体验五要素的思路,如何编写产品需求文档(PRD)

小炮

需求文档

Kubernetes 中数据包的生命周期 -- 第 1 部分

Se7en

谁研发了APP弹窗功能?

InfoQ IT百科

AI在游戏反外挂中的应用与实践

AI在游戏反外挂中的应用与实践

YouTube推荐算法原理_Google_Alex Giamas_InfoQ精选文章