写点什么

MLOps 是构建在一个谎言上的吗?

Mateusz Kwaśniak

2021 年 9 月 30 日

MLOps是构建在一个谎言上的吗?

在一些 MLOps 项目的背景介绍中,都会提及“87%的数据科学项目以失败告终”的论点。这个数据具体出自何处,是否准确测定?本文作者通过相关文献资料调研,指出该论点并无实据可依。尽管 MLOps 非常必要,但社区、学术界和业界不应以基于此论点开展讨论。


大家是否听说过这样一个论点,即 87%的数据科学项目以失败告终?


“机器学习运维”(MLOps)对数据科学家、机器学习工程师等数据科学领域相关从业人士来说都应该耳熟能详了。这个概念相对较新,但越来越多的人们开始想要了解什么是 MLOps,以及如何在自身项目中应用 MLOps 实践和工具。


我相信大家也注意到了这种趋势。MLOps社区正在持续不断成长(我也有幸参与其中)。MLOps 的相关议题和文章,涵盖了几乎全部机器学习领域会议。最近吴恩达和 DeepLearning.ai 也跟进,在 Coursera 发布了他们的 MLOps 课程“用于生产环境的机器学习工程”(可访问:“Machine Learning Engineering for Production”)。


作为一名 MLOps 工程师,我阅读并关注了大量的相关内容。我发现同一批图表和统计结果,多次作为核心内容出现在各种演示报告中,演示内容越来越千篇一律了。



此外我发现有一个特别有趣的素材在这些演讲和帖子里被复制来粘贴去,于是我要研究一下。是否真的“有 87%的数据科学项目无法投入生产环节”,本帖将对此一探究竟。

87%这一数字出自何处?

如果读者正参与面向社区和潜在客户的 MLOps 新产品展示宣讲,那么很有可能会看到这么一句:


87%的数据科学项目无法投入生产环节。


不仅如此,这一论点还出现在福布斯报道StackOverflow博客等处,以及遍布互联网的各博客帖子和会议视频中。这句话或类似的解释,已成为在阐释 MLOps 商业特性中不可或缺的描述。


那么该论点出自哪里?看上去是引用自 VentureBeat 的一篇文章(原文:“Why do 87% of data science projects never make it into production?”)。下面我们转向该文章。

VentureBeat 文章是这么说的


图 1 VentureBeat 的文章标题 。来源:VentureBeat.com


该文撰写于 2019 年 7 月。在此我必须指出的是,这是一篇介绍VentureBeat Transform 2019大会小组讨论情况的软文。文章无非是一个短评,其中引用了大会小组议题“如何理解人工智能实施”(“What the heck does it even mean to “Do AI”?”)中的内容:


人工智能基于经验提供竞争优势。即然大家有此通识,那么为什么只有 13%的数据科学项目(或者说每十个项目中只会有一个)实际投入生产?


Chapo 指出,为避免落入这 87%的失败项目中,项目开始时可以采取三种方式。第一,从小处着手,不要试图去面对一片汪洋,而是从中选择一个痛点去解决,进而可看到进展。第二,为解决问题,确保具备一支适合的跨职能团队。第三,借助于第三方,甚至是一些大企业,从项目一开始就得到加速助力。


回顾这一惊人观点,即 87%的数据科学项目是失败的,或者说无法投产,其中的数字的出自何处?我并没有在文章中找到,所以我决定上 YouTube 看一下演讲视频,肯定是在视频里的。

Transform 2019 大会小组讨论中是这么说的


图 2 Transform 2019 大会小组讨论的视频截图。来源:YouTube。


由此,我回看了 Transform 2019 大会小组讨论的录像。我认定这就是所有一切的源头所在,并最终了解这一奇幻数字是如何在各 MLOps 演讲中口口相传。


顺便说一句,我注意到该视频上传 YouTube 的两年以来,只被观看 353 次,得到 0 条评论。因此我认为,并没有多少人有兴趣去厘清为什么近十个机器学习项目中会有九个失败。正好,我就是来搞清楚的。


我竖耳倾听了这段 26 分钟长度的视频,试图捕捉到是否有演讲者提及 87%的数据科学项目失败,或是只有 13%的项目成功等类似说法。为确保不漏一处,我看了三遍,最终有所发现。在视频大约第 10 分钟处可听到:


我认为《CIO Dive》杂志指出只有 13%的项目最终实际投产。我非常惊讶于 13%这一数据。


这句话正是 IBM 数据科学和人工智能行业 CTO、全球领袖人物 Deborah Leff 说的。


不幸的是,这只是我查证过程中遵循的一个线索(breadcrumb)。显然,Transform 2019 大会小组讨论并非我能确证的信息来源。


那么,下面我们去追溯《CIO Dive》杂志文章吧。

《CIO Dive》杂志是这么说的


图 3 James Roberts 撰写的文章。图片来源:CIODive.com


在 Transform 2019 大会两年前的 2017 年,现任 Quisitive 首席数据科学家的 James Roberts 应邀为《CIO Dive》杂志撰写了一篇文章,指出了导致大多数数据科学项目失败的四个原因。我希望该文最终揭示了 87%这个神奇数字的由来,以及该数字是如何测定的。


文章篇幅相对较短,很有条理。因此我全文通读了多遍,在其中发现如下表述:


2017 年被专家称为数据素养(data literacy)和数字化转型之年。虽然数据是推动真正数字化转型的关键元素,但公司常以错误的方式推行数据和分析项目。事实上,只有 13%的数据和分析项目得以完成。并且在已完成的项目中,只有 8%的公司领导对结果表示完全满意。


我对 13%这一数字非常敏感。正如 Deborah Leff 所说,她是从《CIO Dive》杂志获取该信息的。但这个数字来自何处?哪里有解释?是否依然只是一条线索?


为什么只有 13%的“数据和分析项目”能够完成?


不幸的是,我们对这一论点的来源一无所知。也许只是《CIO Dive》杂志文章出于某种目的而捏出来的一个数字,或许是作者忘记指出对其它最终详细评定 87%数据科学项目失败的文章的引用。


尽管十个机器学习项目中完全有可能失败九个,但对此做出一个可靠的衡量是几乎不可能得,甚至“失败”或“投产”也是无法准确定义的。首当其冲,我们应如何准确定义机器学习模型的投产?


如果使用 FastAPI 等提供了单一的 API 端点服务,就能说项目投产了吗?是否还需要建立完整的 CI/CD/CT 流水线和监控?更重要的是,有些项目并不需要也没有计划去部署到生产环节中,这是否也会被视为失败?


查无实据,我也毫无头绪,略为失望。


应该如何阐释?

小结

有位首席数据科学家于 2017 年受邀在《CIO Dive》杂志发表了一个“观点”,指出“只有 13%的数据和分析项目完工”。这一神奇数字没有来源,也没有指出研究论文出处,具体出处的相关信息为零。


此后,该文由 IBM 数据科学和人工智能 CTO 和全球领导人物 Deborah Leff 在 Transform 2019 大会小组讨论中提及。她说:“我认为《CIO Dive》杂志指出,只有 13%的项目最终实际投产。”


然后,VentureBeat 在介绍 VentureBeat Transform 2019 大会小组讨论情况的软文中引用了这一数字,尽管文章中甚至没有提供视频录像的链接。那么随后发生了什么?


数以百计的机器学习和 MLOps 资源引用了同一文章,同一信息,即“87%的数据科学项目从未投产”,以此作为推销自己工具和产品的依据。


这种未经证实的信息这么容易传播,尤其是在严重依赖研究并非常接近研发和学术环境的社区中,这非常令人失望。


类似论点对于 MLOps 有何意义?可能毫无意义,但我们仍然需要这样的数字。但依据一篇主观论断的文章中提出的神奇数字,并以此为论点去构建社区、各种工具和多家初创公司,这无疑令人震惊。


原文链接:


https://mtszkw.medium.com/is-mlops-built-upon-a-lie-8282948b41ae

2021 年 9 月 30 日 16:503740
用户头像
刘燕 InfoQ记者

发布了 696 篇内容, 共 223.5 次阅读, 收获喜欢 1339 次。

关注

评论

发布
暂无评论
发现更多内容

百度关于EMP的探索:落地生产可用的微前端架构

百度Geek说

anyRTC视频连麦demo上线啦!

anyRTC开发者

音视频 WebRTC 直播 视频直播 直播连麦

扩展ADO.net实现对象化CRUD(.net core/framework)

Spook

.net ORM ado

千亿级数据迁移 mongodb 成本节省及性能优化实践(附性能对比质疑解答)

杨亚洲(专注mongodb及高性能中间件)

MySQL 数据库 mongodb 架构 分布式数据库mongodb

基于 BDD 理论的 Nebula 集成测试框架重构(下篇)

Nebula Graph

分布式数据库 测试 图数据库 BDD

[TcaplusDB]世界青年联欢节, 让世界看到我们的光彩!

数据人er

数据库 nosql tencentdb TcaplusDB

AI框架中图层IR的分析

华为云开发者社区

mindspore IR

35K成功入职:蚂蚁金服面试Java后端经历!「含面试题+答案」

云流

Java 编程 程序员 架构 面试

GaussDB(for Redis)揭秘:Redis存算分离架构最全解析

华为云开发者社区

redis 华为云 GaussDB(for Redis) 存算分离架构 中国系统架构师大会SACC

内蒙古公安重点人员管控研判平台建设方案

13823153121

2021Android高级进阶学习资料,已拿意向书!

欢喜学安卓

android 程序员 面试 移动开发

智安小区建设,智慧安防小区改造建设方案

13823153121

圆梦腾讯之路!6面阿里、5面字节、4面腾讯,终斩腾讯Offer

云流

Java 编程 架构 面试

react native实践总结与思考

碗盆

android 跨平台 React Native

趣谈Java类加载器

程序猿阿星

Java ClassLoader 类加载器

浪潮云说丨浪潮云智能对话,想你所想,无限畅聊

浪潮云

【全球软件大会】华为前端工程师分享:华为云官网的智能化实践

华为云开发者社区

算法 智能化 华为云官网 全球软件大会 内容分发

Dapr:我不是Service Mesh!我只是长得很像

中原银行

Service Mesh istio Multi-Architecture 云原生架构 dapr

测量电压调节器输出纹波和开关瞬变的方法

不脱发的程序猿

硬件研发 输出纹波测量 开关瞬变测量 电源测试 测量电压调节器

Test

bobcatzoo

2021Android高级面试题及答案,Android篇

欢喜学安卓

android 程序员 面试 移动开发

UC生态系统APP开发详情

开發I852946OIIO

泪目!跳槽太不容易,蚂蚁金服三轮面试,四个小时灵魂拷问

Java 面试

项目案例--吃货联盟

加百利

Java 项目 案例 6月日更

【TcaplusDB】世界青年联欢节| 让世界看到我们的光彩!

TcaplusDB

nosql tencentdb TcaplusDB

一个小坑

IT蜗壳-Tango

6月日更

秀出天际的SpringBoot笔记,让开发像搭积木一样简单

我看 JAVA 之 线程同步(下)

awen

Java synchronized JOL 锁升级

[TcaplusDB知识库]查看TcaplusDB集群状态

TcaplusDB

nosql tencentdb TcaplusDB database

百度工程师手把手教你实现代码规范检测工具

百度开发者中心

百度 代码规范

区块链技术如何赋能医学成像?

CECBC区块链专委会

开源中间件技术学习路线

开源中间件技术学习路线

MLOps是构建在一个谎言上的吗?-InfoQ