【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

Meson,用于协调和调度 Netflix 推荐工作流的架构

  • 2016-07-11
  • 本文字数:1273 字

    阅读完需:约 4 分钟

Netflix 力图在人们未观看视频之前就预测他们想看的。为此 Netflix 每日运行多个机器学习(ML) 工作流,这些流水线用于构建、训练并验证有助于视频推荐的个性化推荐算法。Meson 是一个工作流的协调和调度架构,它管理这些所有机器学习流水线的生命周期。

近期 Netflix 开发团队公开了Meson 架构,并描述了它是如何作用于机器学习流水线的。Meson 的目标之一是当允许工程师用自选的技术构造流水线的每一步时,增进整体算法实验的速度、可行性和可重复性。

部分在Netflix 的机器学习流水线中发挥了重要作用的技术包括: Spark MLlib Python R Docker

一个典型的用于驱动视频推荐的机器学习流水线包括如下步骤:

  • 用户选取;
  • 特征生成;
  • 模型训练;
  • 模型验证;
  • 模型发布。

在 Netflix,用户选取步骤通过 Hive 查询实现了对用于分析的用户队列的选择。数据清洗和准备功能由 Python 脚本实现,该脚本创建了两套用户,用于并行的两条执行路线。其中的一条执行路线实现对全局模型的构建和分析,其中使用了 Apache Spark 作为运算架构,以及 HDFS 作为临时存储。另一条执行路线使用 R 语言构建地区(国家)特定的模型,其中地区的数量依据为分析所选取的队列而动态变化。

模型验证步骤用 Scala 代码实现,。该步骤用于测试当两条执行路径汇聚时模型的稳定性。整个过程重复直至模型达到稳定。最终,新模型使用 Docker 容器技术发布,这样的发布可由其它系统进行调用。

为满足机器学习工作流中的资源需求,Netflix 团队在 Meson 中使用了诸如 Apache Mesos 这样的资源管理工具。Mesos 提供了对 CPU、内存、存储及其它计算资源的任务隔离和抽象,并使用这些特性实现了 Mesos 任务的扩展和容错。

Meson 中还包括调度器和执行器组件。

Meson 调度器: 该组件管理各个工作流的启动、流控制和运行时间。Meson 将内存和 CPU 需求发送给 Mesos,实现对 Mesos 实际的资源调度的代理。一旦某个执行步骤已就绪可被调度,Meson 调度器选取由 Mesos 提供的适用资源,并将任务发送给 Mesos 主节点。

Meson 执行器: 它是对 Mesos 执行器的定制,允许开发团队去维护与 Meson 的通信通道。这样架构消息可被发送到 Meson 调度器,对于长时间运行的任务是十分有用的。Meson 执行器也允许用户数据的传递。

Mesos 在调度 Meson 任务时,它在下载了该任务所有的依赖后,在客户节点上启动一个 Meson 执行器。当核心任务被执行时,执行器还关注诸如心跳信息发送、任务完成比例、状态消息等其它任务的情况。

Meson 还提供了基于 Scala 的 DSL,这允许创建用户定制的工作流。Meson 中还具有对原生 Spark 的支持,这允许在 Meson 中去监控 Spark 任务的进程进度。Meson 还具备功能去重做失败的 Spark 过程,或杀掉执行异常的 Spark 任务。

Netflix 团队计划在未来几个月内开源 Meson,并构建 Meson 相关的社区。

查看英文原文: Meson Workflow Orchestration and Scheduling Framework for Netflix Recommendations


感谢张龙对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2016-07-11 19:001768
用户头像

发布了 227 篇内容, 共 71.1 次阅读, 收获喜欢 27 次。

关注

评论

发布
暂无评论
发现更多内容

【第八周】课后作业

云龙

架构师训练营 第三周 作业

阿光

架构师训练营第八周作业

郎哲158

极客大学架构师训练营

RCEP是重振全球经济和反对保护主义的有力工具

CECBC

经济建设 世界经济

架构师训练营 第四周 作业

阿光

架构师训练营第八周课后练习

薛凯

DDIA 读书笔记(6)数据库事务

莫黎

读书笔记

训练营第八周作业 2

仲夏

极客大学架构师训练营

架构师训练营 第四周 学习总结

阿光

架构师训练营第八周作业

吴传禹

极客大学架构师训练营

Week 4 - 作业 2

Sean Chen

架构师训练营第八周总结

吴传禹

极客大学架构师训练营

week08作业

龙卷风

架构师一期

架构师训练营—第八周学习总结

Geek_shu1988

极客大学架构师训练营

Week 4 -作业1

Sean Chen

训练营第八周作业 1

仲夏

极客大学架构师训练营

架构师训练营第八周学习笔记

郎哲158

极客大学架构师训练营

架构师训练营—第八周作业

Geek_shu1988

极客大学架构师训练营

第八周作业

Meow

架构训练营第四周作业

一期一会

架构师

周练习 8

何毅曦

week4 代码重构 作业和学习总结

杨斌

架构师训练营第 2 期 第四周总结

月下独酌

极客大学架构师训练营

第四周 学习小结

Geek_9527

硬核知识点——浏览器中的三类五种请求

执鸢者

大前端 浏览器 网络

架构师训练营第 2 期 第四周作业

月下独酌

极客大学架构师训练营

第八周学习总结

Meow

架构师训练营第 1 期第 9 周作业

业哥

第四周作业一

jingx

架构师训练营 第三周 学习总结

阿光

架构师训练营第四周作业

张浩

Meson,用于协调和调度Netflix推荐工作流的架构_Python_Srini Penchikala_InfoQ精选文章