“AI 技术+人才”如何成为企业增长新引擎?戳此了解>>> 了解详情
写点什么

抵御另一个人工智能冬天的最后一道防线

  • 2019-11-12
  • 本文字数:4335 字

    阅读完需:约 14 分钟

抵御另一个人工智能冬天的最后一道防线


很多人都担心又一波 AI 寒冬即将到来。虽然 ML 解决方案并不缺乏,但得到企业实际部署的不过十分之一。为此,我们有必要通过五种战术显著降低部署成本。另外,也希望这篇文章能帮助企业 ML 高管、经理以及从业人员深入思考并快速采取行动。这将是我们抵御“AI 寒冬”的一道屏障。


免责声明: 本文纯粹表达个人意见,作者未得到文内所提及之任何企业或工具的认可或赞助。文中的 AI、数据科学以及 ML 等表达可互换使用。

1. 一个故事

在了解到我在此前文章中提出的“数据科学很无聊”结论之后,来自加拿大某顶级银行的高级经理 Michelle 提出了一项积极的 ML 议程,并跟我进行了热烈的讨论。


Michelle 负责监督该银行的 ML 概念验证(PoC)产品组合。在每个概念验证项目中,她都需要确定某种 ML 技术在 4 到 6 个月周期之内能否给企业带来价值。她希望让目标更进一步——不只是完成更多概念验证,而是真正部署更多 ML 项目。顺带一提,她目前的部署率仅为 13%左右。


这就引出了两个重要问题: 我们为什么无法部署更多 ML 解决方案?又一波 AI 寒冬是否即将来临?


我先简要回答一下:是的,如果大家还没提升 ML 解决方案的部署率,那么又一轮 AI 寒冬确实来了。你和你的数据科学团队将成为对抗这波寒流的最后一道防线。如何对抗?解决五大核心挑战以继续保持发展势头。否则,你和你的团队将失去这份“二十一世纪最性感的工作”(不是我说的,但网上都这么传)。

2. 宏观图景:AI 的关注与供应情况

自 2012 年以来,我们经历了一波堪称形势大好的“AI 之春”,真可谓是智能春风吹满地。随着技术的突破、深度学习的一步步商业化以及计算资源成本的持续降低,再加上谷歌与英伟达等巨头厂商的推动,人们对 AI 的关注一路水涨船高。


但必须承认,从上世纪六十年代开始,几乎每十年就会兴起这么一波 AI 之春,但随后总会出现严重的 AI 寒冬,具体表现包括:1)怀疑态度占据主流;2)资金投入大幅削减。


现在人们的怀疑态度又占据主流了吗?好像是的(或者至少出现了端倪)。当今市场上出现了各种各样的观点,我们可以通过谷歌搜索趋势进行一番总结。简单来讲,目前的趋势是:虽然关注度仍然很高,但似乎正在趋于平缓。



2019 年 10 月 18 日谷歌趋势图


资金投入大幅削减了吗? 


暂时还没有。目前的资金流主要分为两种:风险投资与企业资金。根据毕马威发布的一份报告,如果将 2018 年第一季度与 2019 年第一季度的投资资本与历史交易进行比较,就会发现整体风险投资市场都有所降温。但风投资金的绝对数额仍然可观,而且 AI 继续在其中充分最热门的领域(直到风投们找到更好的机会为止)。从供应角度看,AI 初创企业与人才可能将继续保持增长势头。



数据整理自 2019 年 10 月 28 日


另一方面,企业定义着 AI 的真正需求与未来命运,这是因为:1)企业才是 AI 初创公司的目标客户;2)企业雇用最多 ML 技术人才。遗憾的是,企业的内部 AI 项目投资数额大多不对外公开。


因此,我们只能通过以下基本原理进行推断:企业是否正着手部署 AI 解决方案以真正实现(而不只是口头支持)这一新兴技术承诺的价值?如果答案是肯定的,那么他们一定会保持或者增加必要的资金投入。

3. 微观图景:AI 的需求情况

下面让我们着眼具体层面,看看近年来企业到底如何使用以及部署 AI 功能。



1)N=来自北美、欧洲以及亚洲的 114000 家机构;2)国际分析机构;3)《福布斯》,2019 年


注意事项: a)此次调查并不能代表整体情况。某些企业肯定会部署超过 10%的 AI 项目;我就见过部署比例在 25%到 40%之间的公司,但其规模一般比较小。b)我们不清楚 10%的部署是否算高。由于公开数据比较有限,我们无法比较 ML 与非 ML 概念验证项目之间的部署率差异,也无从判断 10%的部署率能否带来足够抵消全部概念验证项目总成本的投资收益;但普遍看法是,“我们还可以做得更好。”c)各项调查涵盖不同的企业,但主要面向北美地区的大型组织机构。


我的主要观点是:如果企业没有部署更多 ML 解决方案,则代表内部对 AI 技术的需求将有所减少;ML 人才将失去耐心并选择离开;风险投资方将把资金转移到其他更有希望的项目当中;高管们会失去信心并削减 AI 项目的资金预算。最终,历史将重演:另一波 AI 寒冬必然到来,我的后背都有点发凉了。

4. AI 寒冬极简史与目前的核心问题

引发 AI 寒冬的原因有很多,可能来自政治、技术以及社会等各个层面。Libby Kinsey 就曾经撰写文章分析目前的具体形势。好消息是:以往的很多限制性因素,例如数据(要提供质量更高的训练数据,势必需要更强大的服务与工具)、处理能力、商业准备程度以及整体数字化水平等,都得到了显著改善。坏消息是:我们仍然面对着一大无法回避的障碍(某些旧问题仍然存在,只不过相对得到了缓解)。


在本次调查涉及的企业中,最核心的问题在于 AI 部署的经济性。正如采用其他任何技术一样,这也是整个 AI 行业必须克服的关键性难题。而且只有尽早采取行动,这些经济因素才能得到解决。


我的好友 Joan Didion 写道,“生活中的改变总是在一瞬间发生,普普通通的一瞬间。”我们无法预测事情最终将变成什么样,因此无论 AI 寒冬是否真的存在,我们都应该保持警惕、积极筹备并严阵以待。


因此,让我们深入思考当前企业为什么只部署了大约十分之一的 ML 概论验证项目;我们又该为此做点什么。

5. 聊点具体的,再谈谈战术

简而言之,ML 解决方案部署起来太太太贵了。**我们可以把部署工作拆分成以下五个子问题,理解了这些核心问题之后,我们才能逐一将其攻破。


1) 流程:从概念验证到部署的途径尚不明确。 大多数企业在组织内部设定概念验证思路,确定优先级顺序并为部分前景光明的创意提供资金。在试点项目训练完成后,大家会开几瓶香槟庆祝一下,然后就没有然后了。很多团队都不清楚接下来该干啥,例如从哪里申请资金,以及跟谁一道将概念验证扩展为生产级解决方案。实际上,这本身就是个问题,详见第 3 点。


核心问题: 如何从概念验证走向生产系统?


解决方案: 先划拨一笔专款用于预部署。设定明确的部署标准来分配预算资金(例如与旧有模型相比,新模型的准确性至少要提高 2%)。另外,设定确切流程注入后续资金。接下来,制定整合流程,并尽早与 IT 及运营专家开展磋商。如果要对概念验证项目进行最终部署,还必须配备一套资源配置规划方案。


2) 激励:概念验证项目的 KPI 设置不当。ML 概念验证项目通常隶属于企业中的大规模创新举措。但多数企业往往在 ML 项目中承继了整体创新的基本目标,即重在学习、而非实际部署。这相当于设置了错误的动机与期望。因此,数据科学团队通常专注于尝试前沿技术,而未能在创新与工程可行性之间取得平衡。换言之,他们最终拿出的是可演示的解决方案,而非可集成的实际成果。他们分享的是关于技术本身的知识,而非将技术纳入核心业务体系的方法。激励驱动行为,行为决定结果,请务必牢记这一点。


核心问题: 如何帮助团队构建更多可部署的解决方案?又该如何培养拥有必要能力的团队?


解决方案: 把 KPI 的关注重点从“学习”转化为“可部署创新成果”。努力在创新性与可部署性之间取得平衡。另外,要强调完备的工程设计(具备可行性,在证明价值之前不要过度设计)。最后,对交付成果进行标准化,具体涵盖可供演示的可部署应用程序、整合计划以及关于学习、利弊以及潜在风险的业务案例。


3) 团队:很多概念验证团队并不具备合适的技能储备。不少数据科学团队只追求构建模型,而不愿意接手工程或者运营方面的工作。正如第 2 点所述,激励与总体期望在这方面起到决定性作用。如果没有采用正确的工程实践,团队只会在尝试部署时面临重重障碍。我们可以想象这样的场景:在投入 4 个月时间构建一套出色的概念验证方案后,高管们也都表示赞许。但在尝试部署后,我们突然意识到至少还需要一年半的时间进行重新设计、组建正确团队并推动工程尽职调查,才有可能让项目真正落地——这无疑会严重影响到投资回报。


核心问题: 如何让团队构建起可部署的解决方案?又该如何培养拥有必要能力的团队?


解决方案: 聘请对工程技术拥有丰富经验以及工作热情的数据科学家。如果没有合适的人选或者薪酬要求过高,不妨邀请内部工程及运营团队的专家组建混合团队。如果这些方式都不灵……也可以在 LinkedIn 上碰碰运气 。


4) 技术:现有基础设施不足以支撑 ML 项目。 开发与生产环境之间存在着巨大的数据与工具差异。结果就是,在我们将解决方案从开发环境迁移至生产环境时,往往需要进行一系列额外的重构与测试。从数据角度来看,大多数生产数据无法在开发模型中使用。在使用生产数据时,机器学习模型的性能可能发生显著变化。而从工具的角度出发,开发模型中包含大量用于创新目的的新型工具,但生产环境无疑更倾向使用稳定性高且具备可扩展性的旧有工具(并不是坏事)。


核心问题: 如何选择既能实现创新、又可稳定运行的最佳技术栈?如何进行整合与简化?


解决方案: 创建一套沙箱环境,用于托管经过清洁且与生产环境高度统一的数据。设定一套实施准则,帮助团队在 ML 工作流中选择正确的工具(例如,如果生产环境不支持 Python Pandas,请始终使用良好的旧 SQL 实施开发环境中的数据流水线传输;在不同关键组件之间切换语言相当麻烦,请务必谨慎)。另外,即使某些基础设施与安全团队表示反对,也请允许并鼓励团队使用 Docker 架构实现高层应用程序堆栈的灵活部署。最后,结合 ML DevOps 实践。


5) 政策:变革往往会遭遇激烈的反对。 相信很多朋友都听说过关于变革以及企业文化转变的讨论,但我在这里仍然要再强调一下。与任何新思维、新工具或者新流程的引入一样,怀疑、不熟悉或者误解等问题的存在,总会带来一定程度的不确定性。结果就是,团队将更多时间耗费在内部争论身上,并最终失去了概念验证项目的最佳落地时机。


核心问题: 如何获得利益相关方的支持?


解决方案: 统一的价值观与利益诉求。建立起拥有正确且清晰价值主张的用例。尽早引导上、下游流程参与进来,确保高管及运营层面的利益相关方了解项目、参与项目。与他们共同设计解决方案,通过第 2 点中提到的流程收集专业意见,并尽早获得支持。另外,记得分阶段推进项目进度。最后,也记得找位在企业内混得游刃有余的老大哥帮忙协调各方意见,这同样非常重要。

总结

如果我们不部署更多 ML 解决方案,人们将会逐渐丧失信心,企业则把注意力转移到更有前途的机会身上,以往的 AI 寒冬终将再次上演。但我坚信,阻碍 ML 部署的很多问题完全可以快速解决,其中有些属于 ML 技术面临的特殊问题,也有些源自企业内的固有限制。


但历史就在我们手中,我们的努力将决定下一波 AI 寒冬是否到来!各位 ML 高管、经理以及从业者,我们是对抗 AI 寒冬的最后一道防线,加油!


原文链接:


https://towardsdatascience.com/the-last-defense-against-another-ai-winter-c589b48c561


公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2019-11-12 08:002028
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 489.2 次阅读, 收获喜欢 1965 次。

关注

评论

发布
暂无评论
发现更多内容

【故障解读】v5.3.0 BR 备份报错并且耗时比升级前更长

TiDB 社区干货传送门

备份 & 恢复

在华为 Kylin V10 SP1操作系统,HUAWEI,Kunpeng 920 CPU(4Cores)单机上模拟部署生产环境TiDB集群

TiDB 社区干货传送门

集群管理

TiDB v5.1.2 - TiCDC 不同步,checkpointTs 不推进的问题排查

TiDB 社区干货传送门

实践案例 故障排查/诊断

从2018到2022: 一个大数据工程师眼中的TiDB

TiDB 社区干货传送门

社区活动

TiUP:TiDBAer 必备利器

TiDB 社区干货传送门

管理与运维 安装 & 部署

Oceanbase和TiDB粗浅对比之 - 执行计划

TiDB 社区干货传送门

数据库架构设计 应用适配

使用TiUP 修改集群目录实践

TiDB 社区干货传送门

管理与运维

TiDB Online DDL 在 TiCDC 中的应用

TiDB 社区干货传送门

迁移 TiDB 底层架构

将 AWS S3 数据迁移至 TiDB Cloud 集群

TiDB 社区干货传送门

关于auto_random的几个知识点

TiDB 社区干货传送门

管理与运维

tidb 2.1升级到4.0操作文档

TiDB 社区干货传送门

迁移 版本升级

TiDB 6.0 的「元功能」:Placement Rules in SQL 是什么?

TiDB 社区干货传送门

6.x 实践

TiDB 在携程 | 实时标签处理平台优化实践

TiDB 社区干货传送门

我和TiDB的故事 | 毫无准备地不期而遇,却想说与你相遇好幸运

TiDB 社区干货传送门

社区活动

TiDB Numa 性能压测

TiDB 社区干货传送门

版本测评 性能测评

体验 TiSpark 基于 TiDB v6.0 (DMR) 最小实践

TiDB 社区干货传送门

实践案例 6.x 实践

TiDB 在连锁快餐企业丨海量交易与实时分析的应用探索

TiDB 社区干货传送门

Flink CDC 2.2 正式发布,新增 TiDB 数据源,新增 TiDB CDC 连接器

TiDB 社区干货传送门

新版本/特性发布 应用适配

统计信息十问: 你不了解的那些事儿

TiDB 社区干货传送门

实践案例

TiDB HTAP 遇上新能源车企:直营模式下实时数据分析的应用实践

TiDB 社区干货传送门

tpcds performance compare between tidb and impala

TiDB 社区干货传送门

性能测评

文盘Rust -- 起手式,CLI程序

TiDB 社区干货传送门

开发语言

【故障解读】v5.1.1-调整变量 tidb_isolation_read_engines 影响 tiflash SQL 执行计划

TiDB 社区干货传送门

HTAP 场景实践

对Indexlookup的理解误区

TiDB 社区干货传送门

管理与运维

新版 TiDB 社区技术月刊,一站式 Get 社区全动态

TiDB 社区干货传送门

社区活动 故障排查/诊断 数据库架构设计 应用适配

TiKV缩容不掉如何解决?

TiDB 社区干货传送门

集群管理 故障排查/诊断 扩/缩容

Facebook 开源 Golang 实体框架 Ent 现已支持 TiDB

TiDB 社区干货传送门

应用适配 数据库连接

DM 是如何处理 DML 的

TiDB 社区干货传送门

迁移

本地Kind体验TiDB Operator最小实践

TiDB 社区干货传送门

实践案例

PD节点恢复之一个也不剩

TiDB 社区干货传送门

集群管理 故障排查/诊断 备份 & 恢复 扩/缩容

单机 8 个 NUMA node 如何玩转 TiDB - AMD EPYC 服务器上的 TiDB 集群最优部署拓扑探索

TiDB 社区干货传送门

管理与运维 性能测评 数据库架构设计

抵御另一个人工智能冬天的最后一道防线_AI&大模型_Ian Xiao_InfoQ精选文章