[发明专利]一种基于深度残差网络的表情检测方法、装置及存储介质

说明书

本发明公开了一种基于深度残差网络的表情检测方法、装置及存储介质，该方法获取作业人员的面部视频后，从所述面部视频中提取人脸图片；将所述人脸图片输入至基于深度残差网络的表情检测模型，输出面部表情检测结果，所述面部检测结果包括多种面部表情及相应的概率；所述基于深度残差网络的表情检测模型包括多个残差掩膜块。在本发明提高了面部表情检测的准确度。

技术领域

本发明涉及人脸检测技术领域，尤其涉及一种基于深度残差网络的表情检测方法、装置及存储介质。

背景技术

传统方法中，先检测人脸的位置，然后，提取几何特征、外观特征或同时提取以生成模型的特定向量。这些方法通常相当复杂，需要大量的技术操作。由于数据量巨大，特征分析变得极具挑战性。这些方法经常面临自然或噪声环境中的问题，在这些环境中，路标检测是困难的。

与传统的手工制作的特征相比，静态图像面部表情识别技术FER(FacialExpression Recognition)具有更高的准确性，并采用了深度学习方法。基于深度学习的网络需要大量的训练图像来防止过拟合。更多大规模数据集的引入，如EmotioNet、AffectNet、ExpW等，同时采用大量的计算机算力(如GPU、TPU)使这些方法得以使用，这类方法主要问题仍然是技术操作的复杂性。此外，这类方法通常是为特定数据集(或特定目标)优化设计的，这导致了较低的可重用性。

总之，面部情绪的已有研究主要基于一些面部区域的组合来确定面部表情，例如眼睛、鼻子、嘴。几种传统方法基于面部标志提取这些面部区域。然而，这种固定标志检测主要在实验室控制的数据集上工作良好，如果受试者环境发生变化，如遮挡、照明和头部姿势的变化，在户外数据集上工作不佳。

发明内容

本发明提供一种深度残差网络的表情检测方法、装置及存储介质，提高了面部表情检测的准确度。

本发明一实施例提供一种深度残差网络的表情检测方法，包括以下步骤：

获取作业人员的面部视频后，从所述面部视频中提取人脸图片；

将所述人脸图片输入至基于深度残差网络的表情检测模型，输出面部表情检测结果，所述面部检测结果包括多种面部表情及相应的概率；所述基于深度残差网络的表情检测模型包括多个残差掩膜块。

进一步的，所述人脸图片输入至所述基于深度残差网络的表情检测模型后，根据以下步骤对所述人脸图片进行处理：

所述人脸图片通过一个步幅为2的3×3卷积层和一个2×2的最大池化层后得到第一特征图，将所述第一特征图传输至残差掩膜块；

所述第一特征图经过多个残差掩膜块的处理后，传输至平均池化层和具有softmax的7向全连接层后，输出相应的7种面部表情及相应的概率。

进一步的，所述第一特征图经过多个残差掩膜块的处理后，传输至平均池化层和具有softmax的7向全连接层，具体为：

将所述第一特征图依次经过4个残差掩膜块的处理，依次得到第二特征图、第三特征图、第四特征图和第五特征图，并将所述第五特征图传输至所述平均池化层和具有softmax的7向全连接层；所述第二特征图、第三特征图、第四特征图至第五特征图的空间大小逐渐降低。

进一步的，所述残差掩膜块包括残差层和掩模块。

进一步的，所述残差掩膜块表示为：

x_l+1＝h(x_l)+F(x_l,W_l)

其中，h(x_l)＝W_l′x，W_l′为1×1的卷积操作，h(x_l)为直接映射部分，x_l为l层的输入，F为残差计算操作，W_l为l层的权重。