Spotify 开源 Terraform:用于在 GKE 上运行 Kubeflow

发布于:2020 年 3 月 16 日 16:42

Spotify开源Terraform:用于在GKE上运行Kubeflow

Spotify 开源了自研的 Terraform 模块,用于在 Google Kubernetes Engine (GKE)上运行机器学习流水线软件 Kubeflow 。通过将企业内部机器学习平台转换至 Kubeflow,Spotify 工程师缩短了上市时间,将运行的实验规模扩大为原平台的 7 倍。

在 Spotify 的最新博客帖子中,产品经理 Josh Baer 和机器学习工程师 Samuel Ngahane介绍了Spotify 在为机器学习“铺平道路”(Paved Road)上的做法。“基于我们推荐的基础架构,使用经慎重考虑过的产品和配置,部署端到端的机器学习解决方案”。通过执行此标准,Spotify 的机器学习工程师得以专注于开展机器学习实验,无需费心基础架构的构建和维护。该平台自2019 年中旬启动以来,得到约100 个内部用户的采用,并已运行了18000 多项实验。

Spotify 长期使用机器学习技术,为用户自动生成定制的播放列表。例如,“每周发现”(Discover Weekly)频道可为用户推荐新的音乐。企业最初的策略是允许各团队自己选择工具和框架。不少现有的基础架构采用了 Scala 语言,并使用了包括 Scio 在内的多个由 Spotify 开源的自定义库。Scio 是一种 Apache Beam 数据处理库,但其在扩展性上存在问题,使得团队需要支持多种框架,导致从概念原型到生产系统之间的迭代时间延长。此外,许多工程师“完全不考虑在基于 Python 的工作流中添加 Scala”。上述问题促使 Spotify 重新考虑自身的框架选取问题,并由此提出了“铺平道路”(Paved Road)这一理念。

“铺平道路”意在解决端到端机器学习工作流中存在的问题。工作流定义了机器学习模型开发和部署的各个阶段,其中包括:

  • 数据预处理
  • 特征转换
  • 模型训练
  • 模型评估
  • 模型上线

具体而言,Spotify 聚焦于各阶段间的数据接口问题,选择采用谷歌 TensorFlow Extended  (TFX)机器学习平台定义的 TFRecord 格式和 tf.Example 类 。团队通过对现有工具构建 TFX 连接器,实现向通用框架的迁移。团队正致力于使用 Tensorflow Data Validation (TFDV)等 TFX 组件,支持开发人员检测偏斜分布和错误值等数据问题。但其中依然存在一些挑战。例如,现有工具尚未解决端到端的编排框架问题。

最终,团队决定迁移到开源机器学习工作流平台 Kubeflow Pipelines(KFP)。该平台上的工作流的组件,将打包为受 Kubernetes 管理的 Docker 容器。KFP 为 TFX 提供开箱即用的支持,因此团队无需再去学习新的框架。KFP SDK 的另一个优点是预先打包了许多常用任务,支持代码共享和重用。Spotify 实现了共享 Kubeflow 集群的部署和管理,使得开发人员得以专注于机器学习实验本身,不必操心基础架构管理的细节。群集托管在 Google Kubernetes Engine(GKE)上,使用 Terraform 配置。

KFP 是一类机器学习全生命周期管理工具。此类工具多由一些大型企业开源提供。例如,Databricks 的 MLFlow ,以及 Uber 的 Michaelangelo 。最近,AWS 也新发布了几项 Sagemaker 服务,力图为机器学习生命周期的各阶段提供统一的接口。在 KubeCon 2019 大会上,Spotify 的机器学习工程师 Ryan Clough 和 Dai Keshi 介绍了 Spotify 的平台。此后,Clough 发了如下推文:

如果要说参与 KubeCon 大会的最大收益,那就是我们同样面对着类似的问题,这些问题会由于各自企业的不同环境而表现各异。尽管我们一直在努力去提供最好的产品,但是没人能独自解决所有的问题。是的,没有人。

Spotify 在 GitHub 上维护了多个开源项目,其中包括 TensorFlow helpers 等机器学习的相关类库。

原文链接:

Spotify Open-Sources Terraform Module for Kubeflow ML Pipelines

阅读数:846 发布于:2020 年 3 月 16 日 16:42

更多 AI、机器学习、TensorFlow 相关课程,可下载【 极客时间 】App 免费领取 >

评论

发布
暂无评论