Angelica Perez在最近的一篇ThoughtWorks博客中分享了一个新开源项目的相关信息，这个项目旨在提供交互式电影体验。该项目就是EmoPy，专注于面部表情识别(FER)。利用所提供的工具包，开发者可以根据传递给服务的图像准确预测情绪。

Perez将FER定义为“一个更广泛的计算机视觉领域的图像分类问题”。计算机视觉是一个热门话题，它吸引了许多大型云提供商的投资，从而实现通过公共API自主访问这些机器学习模型。但挑战在于，这些服务背后的模型和算法并没有公开提供，访问高质量数据集也很困难。Perez解释了EmoPy的不同之处：

我们的目标是扩大公众对这一关键新兴技术的接触，因为目前的开发通常在商业上是对外封闭的。我们欢迎外界多提问题，也欢迎来自开源开发社区的源代码贡献，希望EmoPy能为开发者的项目提供帮助。

获得FER训练模型是非常重要的，常用的一套标准的情绪分类包括:

1、生气
2、厌恶
3、恐惧
4、快乐
5、悲伤
6、惊讶
7、中性（平静）

EmoPY工具包是ThoughtWorks Arts项目的一部分，ThoughtWorks Arts旨在孵化艺术家关于社会和技术的项目。ThoughtWorks团队支持常驻艺术家Karen Palmer创作了一个叫RIOT的交互式电影体验。

RIOT将观众放置在屏幕前，给他们看一个有争议的视频。这些视频是根据包括抢劫者和防暴警察在内的暴乱情况剪辑制作的。我们用网络摄像头记录和分析观众的面部表情，并将其加载到EmoPy中。

EmoPy是受Hongying Meng博士的研究启发，从零开始创建的。EmoPy的核心要求包括:

神经网络结构包括依次向对方提供输出的层。这些结构的性能在很大程度上取决于组成神经网络结构的层的选择和排序。
选择数据集非常重要，因为图像库越大，模型的准确性和可概括性就越高。如今，可用的公共数据集并不多。EmoPy还可以利用微软FER2013和扩展的Cohn-Kanade数据集。FER2013数据集包含了35000多种面部表情，涵盖了七种情绪类别，包括愤怒、厌恶、恐惧、快乐、悲伤、惊讶和平静。Cohn-Kanade数据集包含的是面部表情序列，而不是静态图像，这些序列展现了面部表情之间的转换。Cohn-Kanade数据集包含327个序列。

训练过程是ThoughtWorks团队下一步要考虑的问题。该过程包括神经网络和选定数据集的训练。数据集分为两部分：训练集和验证集。这个过程包括：
- 训练集中的图像被用来训练神经网络，在神经网络中，情绪预测是基于加权和参数进行评估的。
- 然后神经网络将预测的情绪和真实的情绪进行比较，计算出损失值。
- 这个损失值将被用于调整神经网络的权重。这个迭代过程可以使预测模型变得更加智能和准确。
- 验证集用于测试经过训练的神经网络。对Thoughtworks团队来说，拥有两个不同的数据集是非常重要的。通过使用与训练集不同的图像集，他们能够更客观地评价模型。使用这种方法还可以防止“过度拟合”，即“当神经网络能够从训练样本中很好地学习模式时，反而会导致神经网络在给定新样本时无法推广学习”。当发生过度拟合时，训练集的准确率远高于验证集。
测量性能是EmoPy的最终要求。ThoughtWorks团队试图测试出，在基于训练集和验证集预测情绪时，结构的准确性如何？在获得的结果中，ConvolutionINN模型性能最好。在厌恶、快乐和惊讶等情绪集中，神经网络能够从10张从未见过的图片中正确预测9张。虽然厌恶、快乐和惊讶的准确率很高，但其他情绪的准确率并没有那么高。分类错误是有可能出现的，尤其针对恐惧这一情绪，就很容易分类错误。处理这些错误分类的最佳方法是使用尽可能大的数据集。

EmoPy项目正在积极寻找贡献者。无论你是想为项目做出贡献，还是只是使用它，我们的项目团队都无限制的许可，使它尽可能地提供给最广泛的受众。

项目地址：
https://www.thoughtworks.com/insights/blog/emopy-machine-learning-toolkit-emotional-expression

查看英文原文：
https://www.infoq.com/news/2018/10/EmoPy-Computer-Vision

活动推荐

12 月 7 日北京 ArchSummit 全球架构师峰会上，来自 Google、Netflix、BAT、滴滴、美团等公司技术讲师齐聚一堂，共同分享“微服务、金融技术、前端黑科技、智能运维等相关经验与实践。详情点击 https://bj2018.archsummit.com/schedule

创作场景

EmoPy：一个用于面部表情识别的开源工具包