限时领|《AI 百问百答》专栏课+实体书(包邮)! 了解详情
写点什么

MLOps 是构建在一个谎言上的吗?

Mateusz Kwaśniak

  • 2021-09-30
  • 本文字数:2807 字

    阅读完需:约 9 分钟

MLOps是构建在一个谎言上的吗?

在一些 MLOps 项目的背景介绍中,都会提及“87%的数据科学项目以失败告终”的论点。这个数据具体出自何处,是否准确测定?本文作者通过相关文献资料调研,指出该论点并无实据可依。尽管 MLOps 非常必要,但社区、学术界和业界不应以基于此论点开展讨论。


大家是否听说过这样一个论点,即 87%的数据科学项目以失败告终?


“机器学习运维”(MLOps)对数据科学家、机器学习工程师等数据科学领域相关从业人士来说都应该耳熟能详了。这个概念相对较新,但越来越多的人们开始想要了解什么是 MLOps,以及如何在自身项目中应用 MLOps 实践和工具。


我相信大家也注意到了这种趋势。MLOps社区正在持续不断成长(我也有幸参与其中)。MLOps 的相关议题和文章,涵盖了几乎全部机器学习领域会议。最近吴恩达和 DeepLearning.ai 也跟进,在 Coursera 发布了他们的 MLOps 课程“用于生产环境的机器学习工程”(可访问:“Machine Learning Engineering for Production”)。


作为一名 MLOps 工程师,我阅读并关注了大量的相关内容。我发现同一批图表和统计结果,多次作为核心内容出现在各种演示报告中,演示内容越来越千篇一律了。



此外我发现有一个特别有趣的素材在这些演讲和帖子里被复制来粘贴去,于是我要研究一下。是否真的“有 87%的数据科学项目无法投入生产环节”,本帖将对此一探究竟。

87%这一数字出自何处?

如果读者正参与面向社区和潜在客户的 MLOps 新产品展示宣讲,那么很有可能会看到这么一句:


87%的数据科学项目无法投入生产环节。


不仅如此,这一论点还出现在福布斯报道StackOverflow博客等处,以及遍布互联网的各博客帖子和会议视频中。这句话或类似的解释,已成为在阐释 MLOps 商业特性中不可或缺的描述。


那么该论点出自哪里?看上去是引用自 VentureBeat 的一篇文章(原文:“Why do 87% of data science projects never make it into production?”)。下面我们转向该文章。

VentureBeat 文章是这么说的


图 1 VentureBeat 的文章标题 。来源:VentureBeat.com


该文撰写于 2019 年 7 月。在此我必须指出的是,这是一篇介绍VentureBeat Transform 2019大会小组讨论情况的软文。文章无非是一个短评,其中引用了大会小组议题“如何理解人工智能实施”(“What the heck does it even mean to “Do AI”?”)中的内容:


人工智能基于经验提供竞争优势。即然大家有此通识,那么为什么只有 13%的数据科学项目(或者说每十个项目中只会有一个)实际投入生产?


Chapo 指出,为避免落入这 87%的失败项目中,项目开始时可以采取三种方式。第一,从小处着手,不要试图去面对一片汪洋,而是从中选择一个痛点去解决,进而可看到进展。第二,为解决问题,确保具备一支适合的跨职能团队。第三,借助于第三方,甚至是一些大企业,从项目一开始就得到加速助力。


回顾这一惊人观点,即 87%的数据科学项目是失败的,或者说无法投产,其中的数字的出自何处?我并没有在文章中找到,所以我决定上 YouTube 看一下演讲视频,肯定是在视频里的。

Transform 2019 大会小组讨论中是这么说的


图 2 Transform 2019 大会小组讨论的视频截图。来源:YouTube。


由此,我回看了 Transform 2019 大会小组讨论的录像。我认定这就是所有一切的源头所在,并最终了解这一奇幻数字是如何在各 MLOps 演讲中口口相传。


顺便说一句,我注意到该视频上传 YouTube 的两年以来,只被观看 353 次,得到 0 条评论。因此我认为,并没有多少人有兴趣去厘清为什么近十个机器学习项目中会有九个失败。正好,我就是来搞清楚的。


我竖耳倾听了这段 26 分钟长度的视频,试图捕捉到是否有演讲者提及 87%的数据科学项目失败,或是只有 13%的项目成功等类似说法。为确保不漏一处,我看了三遍,最终有所发现。在视频大约第 10 分钟处可听到:


我认为《CIO Dive》杂志指出只有 13%的项目最终实际投产。我非常惊讶于 13%这一数据。


这句话正是 IBM 数据科学和人工智能行业 CTO、全球领袖人物 Deborah Leff 说的。


不幸的是,这只是我查证过程中遵循的一个线索(breadcrumb)。显然,Transform 2019 大会小组讨论并非我能确证的信息来源。


那么,下面我们去追溯《CIO Dive》杂志文章吧。

《CIO Dive》杂志是这么说的


图 3 James Roberts 撰写的文章。图片来源:CIODive.com


在 Transform 2019 大会两年前的 2017 年,现任 Quisitive 首席数据科学家的 James Roberts 应邀为《CIO Dive》杂志撰写了一篇文章,指出了导致大多数数据科学项目失败的四个原因。我希望该文最终揭示了 87%这个神奇数字的由来,以及该数字是如何测定的。


文章篇幅相对较短,很有条理。因此我全文通读了多遍,在其中发现如下表述:


2017 年被专家称为数据素养(data literacy)和数字化转型之年。虽然数据是推动真正数字化转型的关键元素,但公司常以错误的方式推行数据和分析项目。事实上,只有 13%的数据和分析项目得以完成。并且在已完成的项目中,只有 8%的公司领导对结果表示完全满意。


我对 13%这一数字非常敏感。正如 Deborah Leff 所说,她是从《CIO Dive》杂志获取该信息的。但这个数字来自何处?哪里有解释?是否依然只是一条线索?


为什么只有 13%的“数据和分析项目”能够完成?


不幸的是,我们对这一论点的来源一无所知。也许只是《CIO Dive》杂志文章出于某种目的而捏出来的一个数字,或许是作者忘记指出对其它最终详细评定 87%数据科学项目失败的文章的引用。


尽管十个机器学习项目中完全有可能失败九个,但对此做出一个可靠的衡量是几乎不可能得,甚至“失败”或“投产”也是无法准确定义的。首当其冲,我们应如何准确定义机器学习模型的投产?


如果使用 FastAPI 等提供了单一的 API 端点服务,就能说项目投产了吗?是否还需要建立完整的 CI/CD/CT 流水线和监控?更重要的是,有些项目并不需要也没有计划去部署到生产环节中,这是否也会被视为失败?


查无实据,我也毫无头绪,略为失望。


应该如何阐释?

小结

有位首席数据科学家于 2017 年受邀在《CIO Dive》杂志发表了一个“观点”,指出“只有 13%的数据和分析项目完工”。这一神奇数字没有来源,也没有指出研究论文出处,具体出处的相关信息为零。


此后,该文由 IBM 数据科学和人工智能 CTO 和全球领导人物 Deborah Leff 在 Transform 2019 大会小组讨论中提及。她说:“我认为《CIO Dive》杂志指出,只有 13%的项目最终实际投产。”


然后,VentureBeat 在介绍 VentureBeat Transform 2019 大会小组讨论情况的软文中引用了这一数字,尽管文章中甚至没有提供视频录像的链接。那么随后发生了什么?


数以百计的机器学习和 MLOps 资源引用了同一文章,同一信息,即“87%的数据科学项目从未投产”,以此作为推销自己工具和产品的依据。


这种未经证实的信息这么容易传播,尤其是在严重依赖研究并非常接近研发和学术环境的社区中,这非常令人失望。


类似论点对于 MLOps 有何意义?可能毫无意义,但我们仍然需要这样的数字。但依据一篇主观论断的文章中提出的神奇数字,并以此为论点去构建社区、各种工具和多家初创公司,这无疑令人震惊。


原文链接:


https://mtszkw.medium.com/is-mlops-built-upon-a-lie-8282948b41ae

2021-09-30 16:504553
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 572.4 次阅读, 收获喜欢 1980 次。

关注

评论

发布
暂无评论
发现更多内容

阿里P8大牛亲自讲解!6年菜鸟开发面试字节跳动安卓研发岗,成功收获美团,小米安卓offer

欢喜学安卓

android 程序员 面试 移动开发

生产环境全链路压测建设历程 23:FAQ 3、4 适配改造,目标压力

数列科技杨德华

全链路压测 七日更

时空大数据与智能技术的时代共舞,百度地图给2020的答案

脑极体

云原生架构-静态代码扫描SonarQube超时

云原生实验室

DevOps 云原生 jenkins SonarQube Pipeli

犯”集资诈骗罪“、二审判6年的CTO | 法庭上的CTO(21)

赵新龙

CTO 法庭上的CTO

工具词典:中立观点

lidaobing

维基百科 28天写作

小说内容理解

DataFunTalk

AI 推荐系统

C语言编程:入门指南(一周内学懂)

计算机与AI

c

网络模拟器:Cisco Packet Tracer 设备登陆实验

史上最全面‘java监听器’解读,读完就能用进项目

Java架构师迁哥

腾讯T2手把手教你!字节跳动历年校招Android面试真题解析,含BATJM大厂

欢喜学安卓

android 程序员 面试 移动开发

10次面试,2份offer —— 大龄程序员 2020 求职记录

escray

面试 架构师训练营第 1 期

2020盘点之手机失窃事件复盘分析

石君

信息安全 资金安全 手机失窃

58同城风控平台演进

DataFunTalk

架构 中台

百分点智能对话技术探索实践

DataFunTalk

AI

阿里P8大牛亲自讲解!Android高级工程师面试实战,Android岗

欢喜学安卓

android 程序员 面试 移动开发

Serverless 在 SaaS 领域的最佳实践

阿里巴巴中间件

阿里巴巴 中间件

互联网大厂有哪些分库分表的思路和技巧?

冰河

分布式数据库 分库分表 分布式存储 数据一致性 数据同步

总结2020:5个月出版两本书,日更公众号是一种怎样的体验?

冰河

程序员 程序人生 年终总结

我对2021的期待,从合上这份2020日历开始

脑极体

“让专业的人做专业的事”,畅捷通与阿里云的云原生故事

阿里巴巴中间件

云计算 云原生

侵犯著作权、判刑两年半的 CTO |法庭上的CTO(22)

赵新龙

CTO 法庭上的CTO

开设赌场的CTO | 法庭上的CTO(23)

赵新龙

CTO 法庭上的CTO

被砍伤的技术VP | 法庭上的CTO(24)

赵新龙

CTO 法庭上的CTO

散布消极言论被开除的总监 | 法庭上的CTO(25)

赵新龙

CTO 法庭上的CTO

架构师训练营第一周作业

Mark

甲方日常 77

句子

工作 随笔杂谈 日常

天下武功,唯”拆“不破之架构篇二 | 技术人应知的创新思维模型 (9)

Alan

架构 技术 技术人应知的创新思维模型 七日更 28天写作

十大经典排序算法最强总结(含Java、Python码实现)

Java 面试 算法

全面 Severless 化只需要 7天!看南瓜电影的云上升级

阿里巴巴中间件

阿里巴巴 中间件

鸟枪换炮,利用python3对球员做大数据降维(因子分析得分),为C罗找到合格僚机

刘悦的技术博客

Python 数据分析 特征选择 降维

MLOps是构建在一个谎言上的吗?_语言 & 开发_InfoQ精选文章