美的如何利用英特尔“AI+大数据”平台实现工业智能化升级?

2020 年 10 月 12 日

美的如何利用英特尔“AI+大数据”平台实现工业智能化升级?

新技术浪潮正推动着工业制造行业飞速革新,并以人工智能技术为代表,引领着第四次工业革命的进程,“AI+ 工业”正逐渐成为第四次工业革命的主力军。9 月 23 日,英特尔举办了“智能制造,‘芯’向未来——智能技术助力工业制造勾画未来蓝图”为主题的圆桌论坛,邀请其客户和合作伙伴分享工业智能化升级的实际案例。

本案例中,英特尔联合美的,推出工业视觉检测云平台。利用英特尔的至强可扩展处理器平台、OpenVINO 工具套件英特尔发行版(以下简称 “OpenVINO 工具套件”)、Analytics Zoo “大数据分析 +AI” 平台等一系列产品与技术,为智能方案成功实施和运行提供了坚实基础。通过这些高性能硬件基础设施和软件框架,企业的生产和运营可以实现从自动化向智能化的转变。

项目背景

美的集团(以下简称 “美的”)希望通过完整、可复制的产品缺陷检测方案,来完善其智能制造 产业链中的关键环节。如前面提到的,由工业相机、工控机以 及机器人组成的传统视觉方案存在诸多问题,例如定制化方案 开发周期长、成本高,检测内容多样化造成参数标定繁琐、工 人使用困难,占用产线空间大,对工艺流程有影响。 因此,美的希望通过新的技术方法来优化和升级检测方案,打造以下能力:

  • 对单个检测项目形成通用的推理算法,并可推广至不同 产线;
  • 可在任何产线上做到无缝部署,不干扰现有生产和工艺 流程;
  • 在无人工干预情况下做到高鲁棒性,并在全天候高频次下, 保证准确率和延迟的稳定;
  • 整个检测过程在 100 毫秒以内完成,识别率达到 98% 以上。

来自生产一线的海量数据资源,让美的具备了利用 AI 技术, 特别是深度学习方法,来解决上述问题的基础,并通过与英特尔 展开深入的技术合作,提升了算法和算力。如图 2-1-5 所示, 美的通过前端高清图像采集、后端训练推理的架构,构建了基 于深度学习的工业视觉检测云平台,为旗下各产线提供瑕疵检 测、工件标定、图像定位等一系列辅助检测能力。

在这一过程中,英特尔不仅为新方案提供了 Analytics Zoo 大数据分析和 AI 平台,来构建从前端数据预处理到模型训练、推理, 再到数据预测、特征提取的全流程,还针对美的各生产线的实际检测需求,为新方案选择了轻锐的 SSDLite + MobileNet V2 算法模型并实施优化,令新方案进一步提升了效果。

基于 Analytics Zoo 的端到端解决方案

如前所述,美的设计的机器视觉检测云平台架构主要由前、后 端两部分组成,由工业相机、工控机等设备构成图像采集前端, 部署在工厂产线上,经云化部署的英特尔 架构服务器集群则 组成云平台的后端系统。

在前端,执行图像采集的机器人通常装有多个工业相机,或进 行远距离拍摄,用于检测有无和定位;或进行近距离拍摄,用 于光学字符识别(Optical Character Recognition,OCR)。 以微波炉划痕检测为例,如图 2-1-6 所示,当系统开始工作时, 通过机器人与旋转台的联动,先使用远距离相机拍摄微波炉待 检测面的全局图像,并检测计算出需要进行 OCR 识别的位置, 再驱动近距离相机进行局部拍摄。相机采集到的不同图像,先由搭载英特尔酷睿处理器的工控机进行预处理,根据检测需求确定需要传输到云端后,再将数据传送到后端云服务器, 实施深度学习训练和推理。

虽然这一架构并不复杂,但新方案要达到美的希望的灵活、敏捷和高通用性却并非易事。尤其是以端到端方式构建从数据采集、模型训练、算法部署的全流程,如果中间每个环节都由美的自行建设,势必会耗费大量的时间和开发成本,且容易造成软硬件紧耦合和扩展性差的问题。

Analytics Zoo 融合了 Apache Spark、TensorFlow、BigDL 等多种技术框架,可直接运行在英特尔 架构服务器构建的 大数据集群上,并可通过对英特尔 至强 可扩展处理器进 行深度优化,充分释放强大的性能潜力。同时,Analytics Zoo 所集成的英特尔 数学核心函数库(Intel Math Kernel Library,英特尔 MKL)与多线程技术,也帮助美的工业视 觉检测云平台大幅提升特征训练、图片预测以及数据批处理等 效率。

通过双方的紧密合作,英特尔帮助美的在其新方案后端的云服务器中,基于 Analytics Zoo 构建了端到端数据分析流水线方案。整个方案流程如图 2-1-7 所示,包括以下几个主要步骤:

  1. 通过 Spark,方案以分布式方式处理来自各产线工业 相 机 获 取 的 大 量 视 频 和 图 像。 其 中,Analytics Zoo 使 用 PySpark 从磁盘中读取视频或图像数据并进行预处理,构 造 出 TensorFlow Tensor 的 弹 性 分 布 式 数 据 集(Resilient Distributed DataSet,RDD)。整个训练流程可以自动从单个 节点扩展到基于英特尔 架构服务器的大型 Hadoop / Spark 集群,无需修改代码或手动配置。

  2. 使用 TensorFlow 目标检测 API 接口,直接构建对象检测模 型,例如,可以采用轻量级的 SSDLite + MobileNet V2 模型。

  3. 直接使用在第一步中预处理的图像 RDD,以分布式方式在 Spark 集群上训练(或微调)对象检测模型。例如,为了以分 布式方式处理缺陷检测流水线的训练数据,方案使用 PySpark 将原始图像数据读取到 RDD 中,然后应用一些变换来解码图 像,并提取边界框和类标签。方法如下所示:

而返回的 RDD(train_rdd)中的每条记录都包含一个 NumPy ndarray 的列表(即图像、边界框、类和检测到的框的数量), 它可以直接用于创建 TensorFlow 模型,并在 Analytics Zoo 上进行分布式训练。通过创建 TFDataset(如下所示),可以 实现这一功能。

  1. 训练结束后,可以基于与训练流程类似的流水线,直接使用 RDD 评估图像数据集,使用 PySpark、TensorFlow 和 BigDL 在 Analytics Zoo 上,以分布式方式在 Spark 集群上执行大规 模模型评估(或推理);

  2. 使用 Analytics Zoo 中 POJO 模式的 API, 将整个 Pipeline 轻松地部署于在线 Web 服务中,以实现低延迟的在线服务(例 如,Web 服 务、Apache Storm、Apache Flink 等)。 实 现 代码如下:

更多有关详细信息,请参阅: https://analytics-zoo.github.io/master/#Programming Guide/ inference/

通过这样的方法,新方案可以对预处理过的图像进行识别, 提取出需要进行检测的标的物,例如螺钉、铭牌标贴或型号等, 并通过不断地迭代分布式训练提高对检测物的识别率。最后, 系统会将识别结果传递给机械臂等自动化设备来执行下一步 动作。 值得一提的是,英特尔至强 可扩展处理器为新方案提供了另一项关键要素:计算力。部署在该云平台中的英特尔 至强 可扩展处理器得到了充分的性能优化,其英特尔高级矢量扩 展 512(Intel Advanced Vector Extensions 512,英特尔 AVX-512)等技术以出色的并行计算能力,满足了该云平台在模型训练和模型推理时对算力的需求。

基于英特尔架构优化的目标检测算法模型

如前文所述,提升基于机器视觉的工业辅助检测系统的工作效 能,关键在于为其选择高效、适宜的目标检测。美的的新方案 选择了更适于实时目标检测的 SSDLite + MobileNet V2 模型。

利用 Analytics Zoo,新方案使用 TFDataset 来表示一个分 布式存储的记录集合,每条记录包含一个或多个 TensorFlow Tensor 对 象。 这 些 Tensor 被 直 接 用 作 输 入, 来 构 建 TensorFlow 模型。 如以下代码所示,方案通过 TensorFlow Object Detection API 构建了 SSDLite + MobileNet V2 模型:

在模型构建之后,方案首先加载预先训练的 TensorFlow 模型, 然后使用 Analytics Zoo 中的 TFOptimizer,通过以下方式对 模型进行微调训练:

最终方案在验证数据集上的成效可达 0.97 mAP@0.5。

方案成效

将深度学习的方法引入工业辅助检测领域,不仅让美的工业视觉检测云平台可以快速、敏捷、自动地识别出待测产品可能存 在的问题,例如螺钉漏装、铭牌漏贴、LOGO 丝印缺陷等。更重要的是,该云平台能够良好适应非标准变化因素,即便检测内容和环境发生变化,云平台也能很快适应,省去了冗长的新 特征识别、验证时间。同时,这一方案也能有效地提高检测的 鲁棒性,克服了传统视觉检测过于依赖图像质量的问题。

新方案在美的产线中实际部署后,达到了很好的应用效果。从已有 9 条产线的实际部署测试数据来看,该方案对现有产线的影响几乎为零。同时,由 Analytics Zoo 提供统一的数据分析 + AI 平台,大幅降低了方案进行分布式训练和推理以及提供低 延迟在线服务所耗费的人力物力成本。相比传统的工业视觉方案,如图 2-1-8 所示,项目部署周期缩短了 57%,物料成本减少 30%,人工成本减少 70% 。

同时,经英特尔优化的 SSDLite + MobileNet V2 目标检测算 法模型也有效提升了方案的执行效率和准确率。来自一线的数 据表明,方案对诸多缺陷的识别率达到了 99.98%,推理预测 时间从原先的 2 秒缩减到现在的 124 毫秒。

更多示例以及优化细节,请参阅 Github 相关代码: https://github.com/intel-analytics/analytics-zoo/blob/master/pyzoo/zoo/examples/tfnet/train_lenet.py

2020 年 10 月 12 日 11:38 735
用户头像
陈思 InfoQ编辑

发布了 510 篇内容, 共 178.6 次阅读, 收获喜欢 943 次。

关注

评论

发布
暂无评论
发现更多内容

架构师课程学习第二周心得

秤须苑

极客大学架构师训练营

第二周--设计模式

Just顾

架构学习(二)作业

漫步跑小鸡

「编程模型」C++代码组织

顿晓

c++ 命名空间 namespace 代码组织 编程模型

架构师训练营第二次总结

+╮(╯▽╰)╭/>……

架构师训练营第二章作业

JUN

架构师训练营第二课作业

曾祥斌

架构师训练营 Week 02 总结

Wancho

面向对象设计

架构训练营第二周总结

Gavin

依赖倒置原则

Acker飏

极客大学架构师训练营

架构师训练营第二周-作业 Cache优化

无心水

极客大学架构师训练营 ISP

架构师训练营学习总结(第二周)

战峰

架构师训练营-作业2

进击的炮灰

第二周学习总结

iHai

极客大学架构师训练营

架构师训练营第二周作业

努力努力再努力m

极客大学架构师训练营

架构师训练营第二周总结

陌生人

第二周作业

面向对象编程记录

asd945

【架构师训练营 - week2 -2】总结

早睡早起

week2.课后作业

个人练习生niki

依赖倒置原则

万物互联=区块链+物联网

CECBC区块链专委会

AI 物联网 区块链技术 智能高效

架构训练营第二周作业

Gavin

OOD

Kiroro

week02 学习总结

Just顾

面向对象编程原则

asd945

架构师训练营 - 第二周 - 作业

亮灯

架构师训练营第二周心得

努力努力再努力m

极客大学架构师训练营

架构师训练营第二周总结

毛叫

极客大学架构师训练营

week2.学习总结

个人练习生niki

编程的发展和设计的美

林昱榕

极客大学架构师训练营 编程的本质 面向对象的本质

week02-作业

seki

美的如何利用英特尔“AI+大数据”平台实现工业智能化升级?-InfoQ