AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

AI 项目落地应用指南 --2. 机器学习项目过程(下)

  • 2019-12-17
  • 本文字数:5250 字

    阅读完需:约 17 分钟

AI 项目落地应用指南--2.机器学习项目过程(下)

2.数据收集

事实上,现阶段的深度学习还是在比拼数据集规模的阶段。这一点,AI 创业公司是能够理解的,但是对于转做深度学习的软件公司来说,可能有一个误区:“下一个开源数据集不就好了么?干嘛还要自己去准备数据集,费时、费力还费钱”。


一方面,对于政企领域的特定任务来说,大概率是没有特定的开源数据集的,恰好有,那也非常小,可以拿来搞搞研究玩玩,但是想做到“生产就绪”,数据量是远远不够的。举个例子,给你一个中文语音到文字的 NLP 任务,去找找中文语料库看看够用不。


另一方面,恰好有比较大的开源数据集,比方说“人脸”这么热闹,数据集不少,还有 FaceNet、DeepFace、DeepID,是不是找两个程序员就可以做出来和“独角兽们”一样的“人脸”了?嗯,我也尝试过(匿了,匿了,说出来好丢人)。但是,“独角兽们”不会告诉你,他们用的数据集,比开源数据集,高一个数量级起步。再比如,人脸特征点,Dlib 好啊,68 点看起来不错把,唬唬行外人妥妥没问题,也有个小哥做了一个 81 点的放出来,你以为这就是 State-of-the-art 了?现在人脸特征点是 96 点起步,做到 128 点出门才好意思跟人打招呼,196 点才能算是现阶段“比较领先的水平”。嗯,196 点是有个 Helen dataset,training + test 一共 2330 个数据,研究可以,商用想都别想。


开源一代,自用一代,研究一代,这句话真的没有错。在这里建议从各个领域拥抱 AI 转向 DL 项目的的兄弟们,一定要给 Boos 说清楚数据集这件事。

2.1 指标验证

为什么还没有数据集,就要先验证?实际上,这个工作,在我们在评估基线和定义项目指标的时候,就应该同步开始去做了。毕竟项目不是莫名其妙从天上掉下来,在项目前期准备过程中,对于这个特定任务显然已经明确,也会准备一些数据做可行性验证与演示用的 Demo。


这个阶段做的验证工作,真正要解决的问题是:


用小数据集,利用经验去评估指标实现的可能性和代价;


通过误差分析(再建议一遍,不知道误差分析怎么做的,去看 Andrew Ng 的 Machine Learning Yearning)明确数据采集的策略和要求;


基于误差分析,“炼丹师”仔细评估数据集,看看有没有可能在数据质量,标注上做点工作;


基于小数据表现、经验、任务难度以及数据集采集难度,估算数据集规模;

2.2 数据策略

上一步已经基于指标验证工作,对数据集的规模、采集要求、标注有了初步结论。那么就需要对所有的数据可能性,给出足够范例,然后项目经理明确对外包团队的数据要求、标准。当然,好多 AI 公司现在都有自己的数据标注团队了,这个事情做起来会相对靠谱的多。


另外还有一点需要注意的就是,对于 CV 类的图片数据采集,一定要和生产环境使用的场景基本一致,不要为了凑数据数量而忽视了质量。

2.3 数据采集

这个暂时不多说,按照给出的范例去采集就好。

2.4 数据标注

这就是个体力活,主要就是做好培训,然后就是早期多检查“Turk”的工作,确保标注准确性和符合要求。

2.5 数据管理

此外,还有一个重要的事情是做好数据集的管理工作。一方面是保证数据安全,不能丢,更不能莫名其妙就泄漏出去。另一方面要有一个比较好的数据集管理策略,raw 数据怎么管,标注后的怎么管,怎么做数据增强,数据集和训练数据怎么关联,毕竟“炼丹”遇到大麻烦,还是要回来看看数据集的。


有关数据收集更多的内容会在第七章做更详细的解释。

3.训练与调试

训练与调试,这是做深度学习的基本功,这些做不好还谈什么项目落地,本文的定位是介绍项目落地相关的工作,这部分内容按理来说可以不关注。但是考虑到作为一个项目整体的一部分,训练与调试的目标是项目交付,而不是搞科研、发 Paper,过程中关注的侧重点与思考方向会有所差异。

3.1 模型的 MVP

MVP(Minimum Viable Product)是产品经理非常熟悉的一个概念,为什么在已经做了指标验证的情况下,还要提出用 Simplest model 去做 model 的 MVP 呢?


如果项目的任务是我们非常熟悉的领域,对于数据集、model 选择、超参的经验值等这些都非常熟悉,那么可以忽略这一步工作,但是如果是一个从未做过的全新任务,那么“强烈建议”从这一步开始做起。选一个较小的数据集开始验证想法,一般把这种数据集叫做“Eyeball 开发集”,起步用一个“AlexNet like”的模型就可以,主要的任务就是能方便我们验证想法、思路,并做好误差分析,最终目标是确定一个可以 Work 的思路。

3.2 验证模型

在上一步,我们通过 Eyeball 开发集,完成了误差分析,也确定了 model 的方向,从我们的 training set 中取一部分数据出来,用小一点的数据集做模型验证工作。具体这个数量是多少,因该按照具体任务确定,如果是简单的 CV 任务,我们要做的是 fine-tuning 工作,一个分类有 100~200 个样本应该就够了。这个阶段在关注精度的同时,也要同时考虑部署后的推理性能问题,避免解决了精度的指标而导致推理指标大幅超过目标值。


用较小数据集做验证还有一个好处,可以用较短的时间完成一轮训练,那么就可以晚上让机器干活,白天我们根据结果进行调整,既不耽误时间也不会过多抢占 GPU 算力。


验证阶段,解决了偏差问题,那么可以用全量 training set 开始训练了。

3.3 模型训练

在之前提到过,对于 model 来说,是训练数据,权重,超参一体化的,为了更好的调参、优化,在训练阶段我们需要有适当的工具做好相关内容的管理与记录。

3.4 模型优化

在优化方向的选择上,一方面我们要做好误差分析工作,另一方面要对误差的优化难度和优先级做好评估工作,其实就是一句话:在误差占比高的方向选择“成本、难度、时间”综合最经济的,先做优化。


另外,对于模型精度的选择。查准和查全,不同的任务,不同的应用场景实际上要求是有区别的,不能用固化的思维去看待这个问题,只看 F1 score 来确定模型是否使用。还是拿“人脸”举个例子。


假设我们训练完成后,排前两名的 model 在 F1 score 上相差不多,但是恰好 A 查准精度高,B 查全精度高,如何选择呢?安全的选择肯定是 F1 score 那个高用那个,用理论支撑的工具做的选择,出了问题没责任。但这不一定是最优但选择,切记,一定要看场景但业务需求。如果是做“人证合一”的验证,业务的核心需求是“准确验证”,那么选择 A 是比较合适的;如果是做“人脸布控”,那么查全就非常重要了,所以选择 B 更合理,误报没关系,但是漏报就麻烦了。同理,大家可以思考下,在“张学友的演唱会”要做人脸布控追逃的话,又该怎么选?

3.5 软件集成

到这个阶段,业务相关的软件开发工作也基本完成了,是时候将 ML 与软件进行开发集成了测试了,Postman 虽能解决集成测试问题,但是早投入模拟生产的集成测试,总是没有坏处的。


有关训练与调试的更多内容,在第八章会做更多的说明。


有关机器学习开发过程中,与软件开发 DevOps 的配合,以及一些专用工具或者软件平台的简单介绍,在第十章。

4. 部署

如果一切顺利,按照项目计划,到部署的时间节点就该去做生产试点部署了。当然了,就算有点不顺利,到了时间还是要去部署。而且,正常情况下,试点部署的时间只会比计划提前,很少会有推后的。你想啊,你小时候过年买了新衣服,是不是也想在年三十之前就穿啊?

4.1 开发环境测试

“谋定而后动,知止而有得”,所以我们要制订完备的项目计划,做好风险管理,知进退才能有期望中的收获。


“不打无准备之仗,不打无把握之仗”,所以,在正式去客户现场部署之前,我们要在内部尽量去模仿一个最终部署形态的“env”环境。有条件、不缺钱计算资源多的公司,建议在开始关注政企市场的项目机会后,在“研发环境”、“测试环境”、“生产环境”之外,从基础设施平台中再独立出一个“交付部署测试环境”。


有人可能会想,在开发过程中,已经做了软件集成及相关测试,为什么要增加工作量,不做这一步可以不?答案是:可以。为什么可以呢?因为只有吃过足够的苦头之后,就会长记性了,就知道这一步的重要性了。


技术从业者是一个奇特的“物种”,讲起理论、概念、方法都可以做到滔滔不绝,各种新颖名词脱口而出,你要想全听懂,要么是专家,要么是全才,要么随时准备好 Google。但是,干起活来,各种意想不到的 Bug,奇葩的错误,诡异的意外,技术储备的欠缺等等情况,都有可能出现,你脑洞再大,也有出你意料之外的“惊喜”:


内网部署,无互联网,依赖拉不下来,没法部署下去;


家里测试没问题,到了现场跑不起来,各路高手轮番上阵排错,最后发现是有个对自家“基础环境”的小依赖忘了部署;


Nginx 负载均衡玩的溜的很,结果用户有硬件负载均衡,还分链路和服务,要求不用 Nginx 用他们硬件实现 LB,前期没问清楚,不会配置,傻眼了;


客户指着地上放的纸箱子说“这是给你们准备的全新服务器,你们自己上架,自己做系统吧……”。什么是 bond,什么是虚拟化,什么是 SAN 网络,我在哪?我要干什么?


在家千日好,出门半朝难。充分演练,充分准备,没有任何坏处。

4.2 生产试点

先试点,再扩大,最后全面推广,这基本是标准规则。所有要动生产环境的事情,就是:小心,小心,再小心。

4.3 测试

最理想的情况是,客户恰好有生产测试环境,那么在生产测试环境做试点部署和测试,是最稳妥的,也是客户肯定会要求的。但是,如果没有生产测试环境呢?那么就一定要做好测试的准备工作,从用例到回滚到风险应对等的全套方案。而且,极其不建议在生产试点阶段的测试做回滚操作,这是增加风险的动作。最好的方式是,先单独测试 ML 部分,不和业务数据联动,ML 部分验证没问题后,再做对接业务的测试,但对数据库是非 CUD 数据测试。

4.4 正式部署

项目走到这个阶段,大家都可以松一口气了。恭喜,恭喜。

4.5 监控

虽然可以松一个口起了,但是项目刚上线,还没有验收,千万不可大意,做好监控工作,定好 Oncall 的排班计划。谁都不希望出事,但是哪里有那么多心想事成但好事啊,做好预案,有了问题能快速解决更重要。


有关部署的内容,在第九章会进一步说明一些注意事项和风险预防与规避策略。


一般而言,对于政企项目,在部署环节开始后,就进入了正式的“交付实施过程”,项目经理在这个阶段压力是非常大的。当然,也有部分 to G 的项目,要求合同签订项目正式启动后,就要项目组进场,“驻场”开发,这种项目对项目经理的能力要求是指数级上升的。


由于国内软件行业传统的认识和人员的选用安排,项目经理、项目交付人员,无论从待遇上还是能力要求上,还是在内部的话语权上,都是相对同级别程序员较低的。事实上,大多公司都存在类似这样的认识:“实施,不就是去现场装个系统,教会客户使用么,有什么难的,干嘛要用那么“贵”的人?”。


但是,实际情况是这样么?我们来看看 ML 的项目经理应该具备哪些能力:


  • 情商高。会和人打交道,而且还要具有快速和陌生人建立信任关系的能力;

  • 头脑灵活反应快,会说话,敢说话。给领导汇报,能三言两语说清楚;和项目相关方沟通,知道怎么说,能“听懂话”;

  • 快速判断能力。很多时候就是要在分钟级的时间单位内对一件事的难度、风险,是否答应,该不该答应等做出综合判断,并给出回复,而且还要不怕承担风险;否则用户就会觉得这个项目经理“不行”,什么事情都磨磨唧唧,什么事情都定不下来,失去信任感。项目经理一旦让客户失去信任感,基本这个项目做“砸”就是高概率了;

  • 快速学习能力。面对新进入的陌生领域,要能快速学习客户方业务知识,在需求沟通过程中才会收放自如;

  • 硬件、网络等 IT 综合知识。项目经理要在现场协调、沟通方方面面的工作内容,即使这些工作都有专业工程师配合完成,但是项目经理要都懂才能做好沟通、协调工作;

  • 对于 CV 类的项目,还要懂视频相关知识,以及工程施工的相关知识,否则人家摄像头给你配个 H.265,你可能取流就要傻眼,摄像头怎么安装位置选择要清楚,POE 是什么总要明白吧……;

  • 要有架构、写代码的能力。在客户现场,讨论需求、沟通变更或者和第三方集成,做技术沟通,没有这些基本功,怎么沟通,怎么初步判断工作量的量级?能不能判断出来别人是帮你还是害你?

  • 对于 ML 项目来说,还要有基本的深度学习技术相关知识。否则,客户问,速度这么慢,为什么你们不给我们上 GPU?GPU 不是能成倍的加速么。项目经理起码要知道训练和推理的计算量的区别吧,要知道反向传播吧,这样才能 balabala 的解释下吧。

  • 要有出众的语言组织能力。机器学习怎么能用“大白话”解释给客户;推理出了错,怎么和客户沟通才能让对方理解“这不是人工智障”;为了项目推进,需要想客户提要求的时候,怎么说才比较委婉、合情合理?

  • 风险意识和风险管理能力。


三分软件,七分实施绝对不是说着玩的,项目有一个好的项目经理带队,基本就已经成功一半了。所以,考虑到深度学习的技术难度和理解难度,建议在项目经理选派这件事上,真不要随意,更不要为了控成本,从这个方向开始下手。


项目经理代表公司在客户现场做交付,项目做的好,用户满意,就是“活广告”;做不好,客户不会认为是项目经理能力不行,而会说“这个公司不行”,这里面的机会成本,各位决策者衡量衡量。


有关项目经理和项目交付的更多内容,在第十一章会做进一步详细介绍。


本文转载自知乎专栏:不如无书


原文链接:


https://zhuanlan.zhihu.com/p/76744225


2019-12-17 13:511081

评论

发布
暂无评论
发现更多内容

2025 年 AI 与数据工程领域十大趋势前瞻

Baihai IDP

程序员 AI 数据工程

【A/B实验常见问题】实验异常值应该如何处理?

京东零售技术

Fluss: First Impression

Apache Flink

大数据 flink 实时计算 流存储

说说天翼云大规模数据中心组网架构的优势

天翼云开发者社区

云计算 数据中心 天翼云

【GreatSQL优化器-10】find_best_ref

GreatSQL

结合LangChain实现网页数据爬取

测试人

人工智能 软件测试

夜莺监控支持 ES 日志告警了

巴辉特

夜莺监控 开源监控 日志告警 ES告警

云上一键部署 DeepSeek-V3 模型,阿里云PAI Model Gallery 最佳实践

阿里云大数据AI技术

人工智能 API 强化学习 LLM PAI

架构提效的矛盾和矛盾的主要方面

京东零售技术

StarRocks Awards 2024 年度贡献人物

StarRocks

智慧公厕解决方案的定义、特点、技术核心!

光明源智慧厕所

数据库堡垒机是干嘛的?有什么用?怎么定义?

行云管家

网络安全 数据安全 堡垒机 数据库堡垒机

AI 技术在英语学习中的主要应用

北京木奇移动技术有限公司

英语学习 AI教育 软件外包公司

AI 技术开发英语阅读理解系统

北京木奇移动技术有限公司

AI技术 AI教育 软件外包公司

人工智能与物联网:智慧城市的未来

天津汇柏科技有限公司

物联网 AI 人工智能

WebGL开发医学影像识别的挑战

北京木奇移动技术有限公司

医学影像 软件外包公司 webgl开发

使用 Taro 开发鸿蒙原生应用 —— 快速上手,鸿蒙应用开发指南

京东科技开发者

缓存之美——如何选择合适的本地缓存?

京东科技开发者

AI 技术在词汇学习系统的功能

北京木奇移动技术有限公司

英语学习 AI教育 软件外包

VMware的快照原理

天翼云开发者社区

vmware 快照

五个等保知识点总结-行云管家

行云管家

信息安全 等保 等级保护 等保测评

数字化时代下的数字化资产及其治理

京东科技开发者

AI 项目落地应用指南--2.机器学习项目过程(下)_AI&大模型_Kevin_InfoQ精选文章