2025上半年,最新 AI实践都在这!20+ 应用案例,任听一场议题就值回票价 了解详情
写点什么

如何使用 AWS IoT Greengrass 在边缘安装面部识别模型

  • 2019-09-23
  • 本文字数:4186 字

    阅读完需:约 14 分钟

如何使用 AWS IoT Greengrass 在边缘安装面部识别模型

您可能已经了解如何使用 AWS IoT Core 和 AWS IoT Greengrass 进行远程设备通信和控制。通过 AWS IoT Greengrass 机器学习 (ML) 推理,您可以在本地设备上运行机器学习模型,而且不会出现任何传输延迟。在这篇博文中,我将向您展示如何在 Raspberry Pi 上使用 AWS IoT Greengrass ML 推理来执行本地面部识别,以满足家庭监控需求。


通过使用 Amazon Echo Dot(连接到 Alexa Voice Service)作为 Raspberry Pi 摄像头的控制设备,您将能够对门外的人进行拍照,然后根据照片,使用部署到 Raspberry Pi 的预先训练好的 ML 模型执行面部检测并与本地数据集进行对比。虽然对比结果也可以用于门锁或其他智能设备,但这些使用案例不在本文讨论范围之内。

先决条件

在 Raspberry Pi 设备上安装 AWS IoT Greengrass Core 软件。创建 IoT Greengrass 组和核心。有关说明,请参阅《AWS IoT Greengrass 开发人员指南》中的 AWS IoT Greengrass 入门。在部署中会用到在此创建的组和核心。


在本文中,我将使用一个预先训练好的面部检测模型,使用 TensorFlow 对其进行训练,然后将其部署到装有 AWS IoT Greengrass 的 Raspberry Pi 中。您可以使用与此相同的模型,也可以使用 Amazon SageMaker 训练自己的模型。有关如何使用 Amazon SageMaker 准备模型的信息,请参阅《Amazon SageMaker 开发人员指南》中的“入门”部分。


安装以下依赖项。


  • OpenCV 3.3

  • TensorFlow

  • Numpy

  • Scipy

  • Scikit-learn

  • Dlib

  • 所有图像处理库

  • 使用以下命令安装图像处理依赖项。


sudo apt-get install build-essentialsudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-devsudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev pkg-config graphicsmagick
复制代码


使用以下命令安装 OpenCV 3.3。


git clone https://github.com/Itseez/opencv.gitgit clone https://github.com/Itseez/opencv_contrib.gitcd opencvgit checkout 3.1.0cd ../opencv_contrib/git checkout 3.1.0cd ..cd opencvmkdir releasecd releasecmake -D CMAKE_BUILD_TYPE=RELEASE \-D CMAKE_INSTALL_PREFIX=/usr/local \-D INSTALL_PYTHON_EXAMPLES=ON \-D OPENCV_EXTRA_MODULES_PATH=~/opencv_contrib/modules \-D BUILD_EXAMPLES=ON ..make -j4sudo make installsudo ldconfig
复制代码


本文使用的 ML 模型是 TensorFlow。使用以下命令将 TensorFlow 安装在您的 Raspberry Pi 上。


# Install Wheelwget https://github.com/samjabrahams/tensorflow-on-raspberry-pi/releases/download/v1.0.1/tensorflow-1.0.1-cp34-cp34m-linux_armv7l.whlsudo pip install tensorflow-1.0.1-cp34-cp34m-linux_armv7l.whlsudo pip install mock#Install Pip3sudo apt install libatlas-base-devpip install tensorflow使用以下命令安装 Numpy、Scipy 和 Scikit-learn。
pip install numpy scipy scikit-learn使用以下命令安装 Dlib。
#Modify your swapfilesudo nano /etc/dphys-swapfile
change CONF_SWAPSIZE = 100 to CONF_SWAPSIZE=1024change virtual memory from 100M to 1G
sudo /etc/init.d/dphys-swapfile restart
sudo raspi-config#Change you boot Options1)Boot Options => Desktop / CLI => Console Autologin2)Advanced Options => Memory Split => change GPU to 16
#Doanload your Dlibdownload Dlib to your device : http://dlib.net/sudo python setup.py install
复制代码

ML 模型和 AWS Lambda 函数

您将在 GitHub 上找到两个 ML 模型。


  • 面部检测模型

  • |—-haarcascade_frontalface_default.xml

  • 面部识别模型

  • |—–train_faces.model-500.data-00000-of-00001

  • |—–train_faces.model-500.index

  • |—–train_faces.model-500.meta

  • |—–checkpoint

  • 您还将找到描述本文所用的 Lambda 函数的注释。

AWS IoT Greengrass 上的 FaceDetection Lambda 函数

#open cameracam = cv2.VideoCapture(0)while True:# capture an image from video stream_, img = cam.read()# convert RBG image to grayscale imagegray_image = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)# detect facedets = detector(gray_image, 1)if not len(dets):# detect face failedkey = cv2.waitKey(30) & 0xffif key == 27:sys.exit(0)# start recognitionfor i, d in enumerate(dets):x1 = d.top() if d.top() > 0 else 0y1 = d.bottom() if d.bottom() > 0 else 0x2 = d.left() if d.left() > 0 else 0y2 = d.right() if d.right() > 0 else 0face = img[x1:y1, x2:y2]
face = cv2.resize(face, (size, size))# compare image with dataset and compose JSON format messagerecord_data = {}record_data['result'] = is_my_face(face)prepared_record_data = json.dumps(record_data)# send MQTT message to “record/webcam” topicclient.publish(topic = 'record/webcam', payload = prepared_record_data)break;Alexa 触发器 Lambda 函数def get_welcome_response():# public a message to IoT coreclient.publish(topic='listening/record',payload="Hi",qos=1)# return message of this Alexa Skillsession_attributes = {}card_title = "Welcome"speech_output = "Sure.I will check the camera now."# If the user either does not reply to the welcome message or says something# that is not understood, they will be prompted again with this text.reprompt_text = "Sure.I will check the camera now."should_end_session = Truereturn build_response(session_attributes, build_speechlet_response(card_title, speech_output, reprompt_text, should_end_session))
复制代码

开始使用

本文描述的示例架构如下所示。用于创建 AWS Lambda 函数以进行识别的面部识别模型和数据集已上传到 Amazon S3 存储桶中。AWS IoT Greengrass 会将所需文件同步到 Raspberry Pi。Echo Dot 作为触发器运行。在听到“Alexa, open Monitor”等命令时,Echo Dot 将调用 Alexa Skil 以向 AWS IoT Core 发送一条消息。AWS IoT Core 会调用识别 Lambda 函数,该函数部署在 Raspberry Pi 本地存储上,如果 Lambda 函数识别出客人的身份,门就会打开。



下面我们来准备将在 Raspberry Pi 上部署的资源。


首先,创建一个 AWS Lambda 函数,该函数将捕获 Raspberry Pi 摄像头的帧,将这些帧转换为 JPG 文件,然后调用本地 ML 模型进行分析。AWS Lambda 函数会将 JSON 格式的分析结果发送到 AWS IoT Core。


在 AWS Lambda 控制台中,选择创建函数,然后选择从头开始创建。为您的 AWS Lambda 函数指定一个类似于 greengrassFaceRecognization 的名称。对于运行时,选择 Python 2.7。由于此 Lambda 函数将部署在边缘设备上,因此您可以选择任何角色,而不会影响其在 Raspberry Pi 上的功能。



在函数代码区域中,选择上传 ZIP 文件的选项,然后从 GitHub 上传为此 Lambda 函数提供的 ZIP 包。从操作中,发布新版本。AWS IoT Greengrass 不支持 $LATEST 作为 Lambda 别名的版本,因此请确保为 Lambda 函数分配一个版本号(例如,版本 1)。



在 Lambda 函数运行时,它会调用用于面部识别的本地 ML 模型。使用以下值配置 Lambda 函数:


属性 配置


内存限制 96


超时 8


Lambda 生命周期 让此函数长时间生存,并保持无限期运行


对 /sys 目录的读取访问权限 启用


输入负载数据类型 JSON


Lambda 函数需要在 Raspberry Pi 上调用一些本地设备。将这些设备添加到您的 AWS IoT Greengrass 资源。


在 AWS IoT Core 控制台中,选择 AWS IoT Greengrass。选择组,然后选择您的 Greengrass 组(例如,greengrassFaceReco)。在左侧的导航窗格中,选择资源。在本地选项卡上,选择添加本地资源。



由于本文中的示例使用 Raspberry Pi 摄像头,因此要在 Greengrass 组中添加两台设备:


  • videoCoreSharedMemory

  • videoCoreInterface

  • 按如下方式填写字段:


完成后,您的设备配置应如下所示:



将 ML 模型添加到此 Greengrass 组。在左侧导航窗格中,依次选择资源、机器学习和添加机器学习资源。



在本例中,模型存储在 S3 存储桶中。如果您使用 Amazon SageMaker 训练模型,请选择 Amazon SageMaker 作为您的模型源。本地路径是边缘设备上用来存储模型的目录。请谨慎配置此路径。否则,您的模型将无法在边缘设备上使用。您会看到您的模型已添加到 Greengrass 组中:



现在创建一个订阅,以便可将本地分析结果发送到 AWS IoT 云进行处理。例如,将结果存储在 Amazon DynamoDB 中以及在 Amazon EMR 中执行结果分析。如果您有另一台本地设备连接到 Raspberry Pi,则可以使用 AWS IoT Greengrass Core 根据分析结果通过 AWS Lambda 对其进行控制。在本例中,通过 MQTT 消息将结果发送到 AWS IoT 云。



现在,您可以部署 Greengrass 组。从操作中选择部署。部署时间因模型大小而异。部署完成后,结果将显示在控制台中,如下所示。



您的 Raspberry Pi 现在应该能够识别 Pi 摄像头捕捉到的面部照片。使用 Echo Dot 对 Pi 摄像头进行语音控制以获取图像。


创建另一个 Lambda 函数,以通过 MQTT 消息触发 AWS IoT Greengrass 本地面部检测 Lambda 函数。触发器 Lambda 函数将通过 AWS IoT Core 向 Greengrass Core 发送一条 MQTT 消息。AWS IoT Greengrass 将通过本地面部检测 Lambda 函数处理此消息,然后触发照片分析。您可以在 GitHub 上找到这一基于 Python 2.7 的 Lambda 代码。记下此 Lambda 函数的 ARN。配置 Alexa 技能时会用到。


打开 Amazon 开发人员门户。依次选择 Alexa、Your Alexa Consoles、Skills 和 Create Skill。有关创建自己的 Alexa 技能的信息,请参阅使用 Alexa Skills Kit 构建技能。


最后,通过使用 Echo Dot 向 Raspberry Pi 发送语音控制消息,启动本地面部识别过程,构建智能家庭监控系统。结果将通过 MQTT 消息发送回 AWS IoT 云。

小结

通过使用本文中的示例,您可以在装有 AWS IoT Greengrass 的 Raspberry Pi 设备上构建小型家庭监控系统。然后,您可以通过训练其他 ML 模型并将其部署到您的 AWS IoT Greengrass 设备来进一步探索。


本文转载自博客 AWS。


原文链接:


https://amazonaws-china.com/cn/blogs/china/how-to-install-a-face-recognition-model-at-the-edge-with-aws-iot-greengrass/


2019-09-23 13:007005
用户头像

发布了 1901 篇内容, 共 144.5 次阅读, 收获喜欢 81 次。

关注

评论

发布
暂无评论
发现更多内容

架构训练营第五周 - 作业

无心水

极客大学架构师训练营

Java线程池最细的解释,看完后彻底征服面试官

小新

Java 架构 面试 线程 线程池

JVM中的双亲委派机制你还没懂吗?

阿文

Java JVMTI JVM 深入理解JVM JVM原理

Java程序员的必修课之Spring理解透彻了吗?不会还咋去面试?

犬来八荒

Java spring 面试 后端 框架

针对GPU单指令多数据流的编译优化算法

GPU

gpu 编译器 程序语言 if-conversion

三十张图助你看清红黑树的前世今生

淡蓝色

Java 程序员 数据结构 算法

GeekPwn 2020少年黑客马拉松大赛即将开启 谁将CARRY全场?

Geek_116789

碎片化学习行不行

封不羁

Hexo blog 创建指导手册

想飞的鱼

GitHub Hexo GitHub Pages Blog

区块链系列教程之:比特币的问题

程序那些事

比特币 区块链 智能合约 以太坊

[1.3万字] 玩转前端二进制

阿宝哥

Java 大前端 base64 Blob

重学 Java 设计模式:实战策略模式「模拟多种营销类型优惠券,折扣金额计算策略场景」

小傅哥

Java 设计模式 小傅哥 重构 代码优化

Raft探索历程--Part2

老胡爱分享

分布式系统 raft

Git 的远端操作及解析(含思维导图)

多选参数

git GitHub gitlab

道路千万条,安全只三条

石君

安全评估 安全设计

小白也有大厂梦,如何从零开始掌握高薪Java工程师必备技能?

无予且行

Java 架构 面试 后端 大厂

一致性哈希 -- java 实现

lei Shi

如果张东升是个程序员

程序员生活志

程序员 张东升

架构师训练营 第5课学习总结

Glowry

极客大学架构师训练营

依赖倒置原则

John

极客大学架构师训练营

面试官:为什么需要happens-before规则和什么是指令重排序

无予且行

Java 编程 程序员 面试 happens-before

它们为什么这么快:从多进程到多线程再到I/O复用

Ya

多线程 进程 并发

有了多线程,为什么还要有协程?

八两

线程 进程 协程 GMP 进程线程区别

公司一直用Mybatis的原因原来在这!不得不竖起我的大拇指

小闫

Java mybatis mybatis-config.xml mybatis缓存

【Python】 any() 和 or 区别你真的知道吗?

Leetao

Python 数据结构 Python基础知识

架构师训练营学习总结

John

极客大学架构师训练营

刚去面试现场聊了一个多小时的Redis ,悄悄分享给大家!

Java小咖秀

nosql redis 面试

架构训练营第五周 - 总结

无心水

极客大学架构师训练营

从Servlet到Spring Boot

废材姑娘

Java Spring Boot

视读——沟通的艺术,看入人里,看出人外(开篇)

废材姑娘

读书笔记 视觉笔记

现在面试这么难,背下题就能过的时代一去不复返了

小谈

Java 面试 JVM springboot SpringCloud

如何使用 AWS IoT Greengrass 在边缘安装面部识别模型_文化 & 方法_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章