硬核干货——《中小企业 AI 实战指南》免费下载! 了解详情
写点什么

MLOps 基础的主要要求

Craig Wiley

  • 2020-09-15
  • 本文字数:1956 字

    阅读完需:约 6 分钟

MLOps 基础的主要要求

AI 驱动的组织正在利用数据和机器学习来解决其最棘手的问题并且已经获得回报。


根据麦肯锡全球研究院 (McKinsey Global Institute) 的研究,“2025 年之前在其价值创造工作流中全面采用 AI 技术的企业将主导 2030 年的世界经济,现金流增长将超过 120%。”


但目前要做到这一点并非易事。如果管理不善,机器学习 (ML) 系统有创造技术负债的“特殊能力”。这包括传统代码的所有维护问题以及其他 ML 特有的问题:ML 系统具有独特的硬件和软件依赖性,需要对数据和代码进行测试和验证,随着我们周围世界的变化,所部署的 ML 模型会逐渐退化。而且,如果 ML 系统表现不佳,却没有抛出错误,会使识别和解决问题变得尤其具有挑战性。换而言之 —— 创建 ML 模型并非难事 —— 而运维和管理 ML 模型、数据和实验的生命周期才是 复杂所在。


今天,我们宣布了一组将为数据科学家和 ML 工程师简化机器学习运维 (MLOps) 的服务,从而使您的企业能够实现 AI 的价值。

统一 ML 系统的开发和运维

以 AI Platform Pipelines(AI 平台流水线)为开端:今年早些时候,我们宣布推出一款基于 AI 平台构建和管理机器学习流水线的托管服务。现在,我们提供一款机器学习流水线完全托管服务,该服务将在今年 10 月以预览版形式提供。借助新的托管服务,客户能够使用 TensorFlow Extended (TFX’s) 预制组件和模板构建 机器学习流水线,这将显著减少部署模型所需要的工作量。


我们在这个平台中提供 Continuous Evaluation(持续评估)服务,从所部署的 ML 模型进行预测输入和输出采样,然后依据真相 (ground-truth) 标注分析模型性能。如果数据需要人工标注,它还能帮助客户指派人工审查员以提供真相标注来进行模型性能评估。我们高兴地宣布,Continuous Monitoring(持续监控)服务将监控生产中的模型性能,让您知道模型是否过时,或者是否有任何异常、偏差或概念漂移 (concept drift),这样,团队就能快速介入、调试或者重新训练新的模型。这将大幅简化大规模模型的管理,并帮助数据科学家关注那些可能无法实现业务目标的模型。Continuous Monitoring 预计在 2020 年底前为客户提供。


所有这些新服务的基础是我们 AI 平台中新的 ML Metadata Management(元数据管理)服务。这项服务让 AI 团队能够跟踪所运行的所有重要工件和实验,提供一个精心策划的“行为账本”(ledger of action) 和详细的“模型沿袭”(model lineage)。这将使客户能够确定在 AI 平台中训练的任何模型的来源,以进行调试、审核或协作。AI Platform Pipelines 将自动跟踪工件和沿袭,AI 团队还可将 ML Metadata(元数据)服务直接用于定制的工作负载、工件和元数据跟踪。我们的 ML Metadata 服务预计在九月末以预览版的形式提供。


我们的可复用愿景包括针对数据科学和机器学习的协作能力。我们高兴地宣布,预计在今年年底将在 AI 平台推出 Feature Store。Feature Store 将作为一个包含历史和最新特征值、涵盖整个组织的集中存储库,从而在 ML 团队中实现特征复用。通过消除特征工程中的冗余步骤,这将提高用户的生产率。Feature Store 还将提供工具,以减少用于训练和预测的特征之间不一致的常见原因。

衔接 ML 和 IT

对于伴随软件开发行业几十年经验和学习发展起来的大型软件系统的开发和管理,DevOps 是一种流行和常用的实践。它提供的优势包括减少开发周期、提高部署速度以及确保高质量软件的可靠发布等。


与 DevOps 类似,MLOps 是一种 ML 工程文化和实践,目的在于实现 ML 系统开发 (Dev) 和 ML 系统运维 (Ops) 的统一。与 DevOps 不同的是,ML 系统对核心 DevOps 原则(例如,持续集成和持续交付 (CI/CD))提出了独特挑战。


在 ML 系统中:


● 持续集成 (CI) 不仅仅是测试和验证代码及组件,还包括测试和验证数据、数据模式以及模型。


● 持续交付 (CD) 不仅仅是单一软件包或者服务,还是一个应当自动部署另一项服务(模型预测服务)的系统(ML 训练流水线)。


● 持续训练 (CT) 是一个 ML 系统特有的新属性,涉及对候选模型进行自动重新训练以用于测试和生产服务。


● 持续监控 (CM) 不仅是为了捕获生产系统中的错误,而且是要监控与业务收益密切相关的生产推理数据和模型性能指标。



实施 MLOps 意味着您倡导在 ML 系统构建的所有步骤实现自动化和监控,包括集成、测试、发布、部署和基础架构管理。我们今天所进行的发布将有助于简化 AI 团队管理整个 ML 开发生命周期的方式。


我们的目标是让机器学习表现得更类似于计算机科学,因此,能够更加高效、快捷地部署,我们很高兴可以为您的业务带来这样的效率和速度。要了解 MLOps 以及我们的客户如何使用这一平台的更多信息,请参考在 Next OnAir 举行的“ Google Cloud 的 MLOps 简介”在线研讨,并参阅我们的相关文档:机器学习中的持续交付和自动化流水线 以及使用 TFX、Kubeflow Pipelines 和 Cloud Build 的 MLOps 架构


2020-09-15 18:482108

评论

发布
暂无评论
发现更多内容

Java--JVM运行流程

是老郭啊

Java JVM JVM原理

MySQL基础之六:连接查询

打工人!

myslq 6月日更

操作系统内核是什么?Linux内核又是什么?读完这篇文章,我终于知道了

奔着腾讯去

c++ 操作系统 内存管理 Linux内核 进程管理

5分钟速读之Rust权威指南(十九)

wzx

rust 生命周期

【布道API】浅谈API设计风格

devpoint

Rest API 6月日更

【Vue2.x 源码学习】第八篇 - 数组的深层劫持

Brave

源码 vue2 6月日更

Locust完成gRPC协议的性能测试

陈磊@Criss

阿里云边缘容器服务、申通 IoT 云边端架构入选 2021 云边协同发展阶段性领先成果

阿里巴巴云原生

云原生

你愿意被管理么?

escray

学习 极客时间 朱赟的技术管理课 6月日更

递归全排列问题(两种方法 Java实现)

若尘

数据结构 递归 6月日更

【Flutter 专题】109 图解自定义 ACERadio 单选框

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 6月日更

密码学系列之:生日攻击

程序那些事

加密解密 密码学 程序那些事

spring-beans 注册 Beans(四)BeanDefinition

梦倚栏杆

缓存穿透、缓存雪崩、缓存击穿问题与优化方案

Skysper

Packer 自动化镜像 Windows 安装过程

HoneyMoose

异构内存及其在机器学习系统的应用与优化

白玉兰开源

人工智能 机器学习 解决方案 第四范式 傲腾

浅谈Java中的TCP超时

Hoswey_洪树伟

Java、

高性能 JavaScriptの七 -- 编程实践小技巧

空城机

JavaScript 大前端 6月日更

Kubernetes手记(5)- 配置清单使用

雪雷

k8s 6月日更

这些书都学完,绝对是编程界的大佬

看山

Java 程序员 6月日更

当人工智能遇上视频直播——基于Agora Web SDK实现目标识别

dajyaretakuya

深度学习 音视频 WebRTC 声网 TensorFlow.js

Python——字符串转换与处理

在即

6月日更

公司:离职就是一场危机管理

石云升

创业 职场经验 6月日更

Python——输入输出:加减乘除四则运算的程序

在即

6月日更

云原生推动全云开发与实践

阿里巴巴云原生

云原生

数字化转型背景下的测试转型

BY林子

敏捷测试 测试转型

做通才还是专才,你会怎么选?

架构精进之路

认知提升 6月日更

Mybatis 二级缓存简单示例

Java mybatis

【21-1】21 连更第一篇

耳东@Erdong

6月日更

SpringBootApplication注解

梦倚栏杆

读深入ES6记[二]

蛋先生DX

ES6 6月日更

MLOps 基础的主要要求_大数据_InfoQ精选文章