写点什么

如何使用 AWS IoT Greengrass 在边缘安装面部识别模型

  • 2019 年 9 月 23 日
  • 本文字数:4186 字

    阅读完需:约 14 分钟

如何使用 AWS IoT Greengrass 在边缘安装面部识别模型

您可能已经了解如何使用 AWS IoT Core 和 AWS IoT Greengrass 进行远程设备通信和控制。通过 AWS IoT Greengrass 机器学习 (ML) 推理,您可以在本地设备上运行机器学习模型,而且不会出现任何传输延迟。在这篇博文中,我将向您展示如何在 Raspberry Pi 上使用 AWS IoT Greengrass ML 推理来执行本地面部识别,以满足家庭监控需求。


通过使用 Amazon Echo Dot(连接到 Alexa Voice Service)作为 Raspberry Pi 摄像头的控制设备,您将能够对门外的人进行拍照,然后根据照片,使用部署到 Raspberry Pi 的预先训练好的 ML 模型执行面部检测并与本地数据集进行对比。虽然对比结果也可以用于门锁或其他智能设备,但这些使用案例不在本文讨论范围之内。


先决条件

在 Raspberry Pi 设备上安装 AWS IoT Greengrass Core 软件。创建 IoT Greengrass 组和核心。有关说明,请参阅《AWS IoT Greengrass 开发人员指南》中的 AWS IoT Greengrass 入门。在部署中会用到在此创建的组和核心。


在本文中,我将使用一个预先训练好的面部检测模型,使用 TensorFlow 对其进行训练,然后将其部署到装有 AWS IoT Greengrass 的 Raspberry Pi 中。您可以使用与此相同的模型,也可以使用 Amazon SageMaker 训练自己的模型。有关如何使用 Amazon SageMaker 准备模型的信息,请参阅《Amazon SageMaker 开发人员指南》中的“入门”部分。


安装以下依赖项。


  • OpenCV 3.3

  • TensorFlow

  • Numpy

  • Scipy

  • Scikit-learn

  • Dlib

  • 所有图像处理库

  • 使用以下命令安装图像处理依赖项。


sudo apt-get install build-essentialsudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-devsudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev pkg-config graphicsmagick
复制代码


使用以下命令安装 OpenCV 3.3。


git clone https://github.com/Itseez/opencv.gitgit clone https://github.com/Itseez/opencv_contrib.gitcd opencvgit checkout 3.1.0cd ../opencv_contrib/git checkout 3.1.0cd ..cd opencvmkdir releasecd releasecmake -D CMAKE_BUILD_TYPE=RELEASE \-D CMAKE_INSTALL_PREFIX=/usr/local \-D INSTALL_PYTHON_EXAMPLES=ON \-D OPENCV_EXTRA_MODULES_PATH=~/opencv_contrib/modules \-D BUILD_EXAMPLES=ON ..make -j4sudo make installsudo ldconfig
复制代码


本文使用的 ML 模型是 TensorFlow。使用以下命令将 TensorFlow 安装在您的 Raspberry Pi 上。


# Install Wheelwget https://github.com/samjabrahams/tensorflow-on-raspberry-pi/releases/download/v1.0.1/tensorflow-1.0.1-cp34-cp34m-linux_armv7l.whlsudo pip install tensorflow-1.0.1-cp34-cp34m-linux_armv7l.whlsudo pip install mock#Install Pip3sudo apt install libatlas-base-devpip install tensorflow使用以下命令安装 Numpy、Scipy 和 Scikit-learn。
pip install numpy scipy scikit-learn使用以下命令安装 Dlib。
#Modify your swapfilesudo nano /etc/dphys-swapfile
change CONF_SWAPSIZE = 100 to CONF_SWAPSIZE=1024change virtual memory from 100M to 1G
sudo /etc/init.d/dphys-swapfile restart
sudo raspi-config#Change you boot Options1)Boot Options => Desktop / CLI => Console Autologin2)Advanced Options => Memory Split => change GPU to 16
#Doanload your Dlibdownload Dlib to your device : http://dlib.net/sudo python setup.py install
复制代码


ML 模型和 AWS Lambda 函数

您将在 GitHub 上找到两个 ML 模型。


  • 面部检测模型

  • |—-haarcascade_frontalface_default.xml

  • 面部识别模型

  • |—–train_faces.model-500.data-00000-of-00001

  • |—–train_faces.model-500.index

  • |—–train_faces.model-500.meta

  • |—–checkpoint

  • 您还将找到描述本文所用的 Lambda 函数的注释。


AWS IoT Greengrass 上的 FaceDetection Lambda 函数

#open cameracam = cv2.VideoCapture(0)while True:# capture an image from video stream_, img = cam.read()# convert RBG image to grayscale imagegray_image = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)# detect facedets = detector(gray_image, 1)if not len(dets):# detect face failedkey = cv2.waitKey(30) & 0xffif key == 27:sys.exit(0)# start recognitionfor i, d in enumerate(dets):x1 = d.top() if d.top() > 0 else 0y1 = d.bottom() if d.bottom() > 0 else 0x2 = d.left() if d.left() > 0 else 0y2 = d.right() if d.right() > 0 else 0face = img[x1:y1, x2:y2]
face = cv2.resize(face, (size, size))# compare image with dataset and compose JSON format messagerecord_data = {}record_data['result'] = is_my_face(face)prepared_record_data = json.dumps(record_data)# send MQTT message to “record/webcam” topicclient.publish(topic = 'record/webcam', payload = prepared_record_data)break;Alexa 触发器 Lambda 函数def get_welcome_response():# public a message to IoT coreclient.publish(topic='listening/record',payload="Hi",qos=1)# return message of this Alexa Skillsession_attributes = {}card_title = "Welcome"speech_output = "Sure.I will check the camera now."# If the user either does not reply to the welcome message or says something# that is not understood, they will be prompted again with this text.reprompt_text = "Sure.I will check the camera now."should_end_session = Truereturn build_response(session_attributes, build_speechlet_response(card_title, speech_output, reprompt_text, should_end_session))
复制代码


开始使用

本文描述的示例架构如下所示。用于创建 AWS Lambda 函数以进行识别的面部识别模型和数据集已上传到 Amazon S3 存储桶中。AWS IoT Greengrass 会将所需文件同步到 Raspberry Pi。Echo Dot 作为触发器运行。在听到“Alexa, open Monitor”等命令时,Echo Dot 将调用 Alexa Skil 以向 AWS IoT Core 发送一条消息。AWS IoT Core 会调用识别 Lambda 函数,该函数部署在 Raspberry Pi 本地存储上,如果 Lambda 函数识别出客人的身份,门就会打开。



下面我们来准备将在 Raspberry Pi 上部署的资源。


首先,创建一个 AWS Lambda 函数,该函数将捕获 Raspberry Pi 摄像头的帧,将这些帧转换为 JPG 文件,然后调用本地 ML 模型进行分析。AWS Lambda 函数会将 JSON 格式的分析结果发送到 AWS IoT Core。


在 AWS Lambda 控制台中,选择创建函数,然后选择从头开始创建。为您的 AWS Lambda 函数指定一个类似于 greengrassFaceRecognization 的名称。对于运行时,选择 Python 2.7。由于此 Lambda 函数将部署在边缘设备上,因此您可以选择任何角色,而不会影响其在 Raspberry Pi 上的功能。



在函数代码区域中,选择上传 ZIP 文件的选项,然后从 GitHub 上传为此 Lambda 函数提供的 ZIP 包。从操作中,发布新版本。AWS IoT Greengrass 不支持 $LATEST 作为 Lambda 别名的版本,因此请确保为 Lambda 函数分配一个版本号(例如,版本 1)。



在 Lambda 函数运行时,它会调用用于面部识别的本地 ML 模型。使用以下值配置 Lambda 函数:


属性 配置


内存限制 96


超时 8


Lambda 生命周期 让此函数长时间生存,并保持无限期运行


对 /sys 目录的读取访问权限 启用


输入负载数据类型 JSON


Lambda 函数需要在 Raspberry Pi 上调用一些本地设备。将这些设备添加到您的 AWS IoT Greengrass 资源。


在 AWS IoT Core 控制台中,选择 AWS IoT Greengrass。选择组,然后选择您的 Greengrass 组(例如,greengrassFaceReco)。在左侧的导航窗格中,选择资源。在本地选项卡上,选择添加本地资源。



由于本文中的示例使用 Raspberry Pi 摄像头,因此要在 Greengrass 组中添加两台设备:


  • videoCoreSharedMemory

  • videoCoreInterface

  • 按如下方式填写字段:


完成后,您的设备配置应如下所示:



将 ML 模型添加到此 Greengrass 组。在左侧导航窗格中,依次选择资源、机器学习和添加机器学习资源。



在本例中,模型存储在 S3 存储桶中。如果您使用 Amazon SageMaker 训练模型,请选择 Amazon SageMaker 作为您的模型源。本地路径是边缘设备上用来存储模型的目录。请谨慎配置此路径。否则,您的模型将无法在边缘设备上使用。您会看到您的模型已添加到 Greengrass 组中:



现在创建一个订阅,以便可将本地分析结果发送到 AWS IoT 云进行处理。例如,将结果存储在 Amazon DynamoDB 中以及在 Amazon EMR 中执行结果分析。如果您有另一台本地设备连接到 Raspberry Pi,则可以使用 AWS IoT Greengrass Core 根据分析结果通过 AWS Lambda 对其进行控制。在本例中,通过 MQTT 消息将结果发送到 AWS IoT 云。



现在,您可以部署 Greengrass 组。从操作中选择部署。部署时间因模型大小而异。部署完成后,结果将显示在控制台中,如下所示。



您的 Raspberry Pi 现在应该能够识别 Pi 摄像头捕捉到的面部照片。使用 Echo Dot 对 Pi 摄像头进行语音控制以获取图像。


创建另一个 Lambda 函数,以通过 MQTT 消息触发 AWS IoT Greengrass 本地面部检测 Lambda 函数。触发器 Lambda 函数将通过 AWS IoT Core 向 Greengrass Core 发送一条 MQTT 消息。AWS IoT Greengrass 将通过本地面部检测 Lambda 函数处理此消息,然后触发照片分析。您可以在 GitHub 上找到这一基于 Python 2.7 的 Lambda 代码。记下此 Lambda 函数的 ARN。配置 Alexa 技能时会用到。


打开 Amazon 开发人员门户。依次选择 Alexa、Your Alexa Consoles、Skills 和 Create Skill。有关创建自己的 Alexa 技能的信息,请参阅使用 Alexa Skills Kit 构建技能。


最后,通过使用 Echo Dot 向 Raspberry Pi 发送语音控制消息,启动本地面部识别过程,构建智能家庭监控系统。结果将通过 MQTT 消息发送回 AWS IoT 云。


小结

通过使用本文中的示例,您可以在装有 AWS IoT Greengrass 的 Raspberry Pi 设备上构建小型家庭监控系统。然后,您可以通过训练其他 ML 模型并将其部署到您的 AWS IoT Greengrass 设备来进一步探索。


本文转载自博客 AWS。


原文链接:


https://amazonaws-china.com/cn/blogs/china/how-to-install-a-face-recognition-model-at-the-edge-with-aws-iot-greengrass/


2019 年 9 月 23 日 13:00395
用户头像

发布了 1464 篇内容, 共 51.1 次阅读, 收获喜欢 57 次。

关注

评论

发布
暂无评论
发现更多内容

Linux之grep命令

入门小站

Linux

ReactNative进阶(三十三):Mac 下 homebrew 的安装和 brew 命令的使用

No Silver Bullet

homebrew React Native 1月月更

Java自定义DNS解析器三种实践

FunTester

Java 性能测试 DNS FunTester 自定义DNS

Hive窗口函数/分析函数详解

五分钟学大数据

hive 1月月更

kafka 原理深度剖析系列|调优策略

云智慧AIOps社区

Java kafka 架构 消息队列 消息中间件

在线TOML转YAML工具

入门小站

工具

云平台和云管平台的三大区别详细解析-行云管家

行云管家

云计算 云服务 云平台 云管平台

WGCLOUD和zabbix、prometheus(普罗米修斯)有什么区别

王逅逅

服务器部署 运维平台 zabbix Prometheus linux security

龙蜥社区理事长展望操作系统 2022:加速驶向快车道,云、XPU和开源成“催化剂”

OpenAnolis小助手

Linux 开源 操作系统 国产化 龙蜥

使用CodeMirror打造数据科学家使用的IDE(一)

Baihai IDP

人工智能 ide 数据科学 CodeMirror

2022 年前端工程师进阶必知必会

开源之巅

Serverless

微信业务架构 & 学生管理系统架构设计

王大胖

10倍!BoostKit鲲鹏全局缓存3大创新技术助力Ceph性能提升

华为云开发者社区

Ceph 鲲鹏 BoostKit鲲鹏全局缓存技术 BoostKit 全局缓存

Spark性能调优-RDD算子调优

五分钟学大数据

spark 1月月更

2022年运维工程师必备利器-云管平台

行云管家

云计算 运维 云管平台 2022

极简实现 TiDB 冷热数据分层存储 | He3 团队访谈

PingCAP

kafka原理深度剖析系列|基本原理与架构

云智慧AIOps社区

Java kafka 架构 消息队列 消息中间件

我为InfoQ编辑器提意见

坚果

1月月更

kafka 原理深度剖析系列|分区分配策略

云智慧AIOps社区

Java kafka 架构 中间件 消息队列

再获认可 | 优麒麟荣获“最佳技术社区运营”奖

优麒麟

Linux InfoQ 2022 优麒麟

SQL基于时间的盲注过程

喀拉峻

网络安全

HUAWEI DevEco Studio使用技巧【鸿蒙开发 06】

坚果

1月月更

带薪撸猫是一种什么样的体验?

万事ONES

如何使用 AWS IoT Greengrass 在边缘安装面部识别模型_文化 & 方法_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章