[发明专利]一种多头部姿态人脸表情识别方法及其应用

说明书

本发明公开了一种多头部姿态人脸表情识别方法及其应用。该方法包括步骤：获取训练样本对，所述训练样本对中包括同一表情的正脸图片和非正脸图片；将所述训练样本对输入到预先构建的识别模型进行训练，所述识别模型包括正脸识别网络和非正脸识别网络，所述正脸识别网络包括特征提取主干网络和正脸表情特征提取网络，所述非正脸识别网络包括特征提取主干网络、注意力模块和非正脸表情分类网络，所述正脸识别网络和所述非正脸识别网络两者的特征提取主干网络的参数共享，训练时最小化所述非正脸表情分类网络与所述正脸表情特征提取网络两者输出的表情特征之间的表情差异损失。本发明能够消除头部姿态对表情识别的干扰，有效提高表情分类精度。

技术领域

本发明属于表情识别技术领域，更具体地，涉及一种多头部姿态人脸表情识别方法及其应用。

背景技术

面部表情作为最重要的非语言交流手段之一，可以传达自己内心的情感。心理学研究发现，人类有能力破译各种面部表情的含义，并将面部表情归类为基本情绪之一。为了使计算机理解各种面部表情，人脸表情识别已经成为计算机视觉领域的研究热点之一。

现有的大多数深度学习方法主要集中在正脸或者近似正脸的人脸表情识别，当应用于非正脸的人脸表情识别时，现有方法的表现都会受到很大挑战。当头部姿态相较于正脸产生大范围变化时，人脸表情的类内距离也会相应增加。此外，随着头部姿态逐渐转向一侧，表情从三维空间投影到二维图像平面时，自遮挡区域增加导致更多的辨别信息丢失。这些问题导致现有的方法在应用时都存在局限性，识别精度低。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种多头部姿态人脸表情识别方法及其应用，消除头部姿态对表情识别的干扰，有效提高多头部姿态下的表情分类精度。

为实现上述目的，按照本发明的第一方面，提供了一种多头部姿态人脸表情识别方法，包括步骤：

获取训练样本对，所述训练样本对中包括同一表情的正脸图片和非正脸图片；

将所述训练样本对输入到预先构建的识别模型进行训练，所述识别模型包括正脸识别网络和非正脸识别网络，所述正脸识别网络包括特征提取主干网络和正脸表情特征提取网络，所述非正脸识别网络包括特征提取主干网络、注意力模块和非正脸表情分类网络，所述注意力模块用于提取表情特征和头部姿态特征，所述正脸识别网络和所述非正脸识别网络两者的特征提取主干网络的参数共享，训练时最小化所述非正脸表情分类网络与所述正脸表情特征提取网络两者输出表情特征之间的表情差异损失。

优选的，所述注意力模块包括第一注意力模块和第二注意力模块，所述第一注意力模块用于提取输入非正脸图片的头部姿态特征，所述第二注意力模块用于提取输入非正脸图片的表情特征，训练时最小化所述第一注意力模块和所述第二主力模块的正交通道注意力损失。

优选的，所述分类模块包括第一分类模块和第二分类模块，所述第一分类模块用于接收所述第一注意力模块的输出，并输出头部姿态分类结果，所述第二分类模块用于接收所述第二注意力模块的输出，并输出表情分类结果，训练时，根据所述第一分类模块的预测损失、所述第二分类模块的预测损失、所述表情差异损失和所述正交通道注意力损失，计算所述识别模型的总损失。

优选的，所述第一分类模块、所述第二分类模块均包括依次连接的三个全连接层，所述正脸表情特征提取网络包括一个全连接层，所述表情差异损失是所述第二分类模块的任意一个全连接层输出的表情特征与所述正脸表情特征提取网络的全连接层输出的表情特征的差异损失。

优选的，所述注意力模块还包括全局平均池化层，所述全局平均池化层用于计算所述非正脸识别网络的特征提取主干网络的每个特征通道的平均值，并将它们连接成矢量。

优选的，所述正交通道注意力损失的计算公式为：