[发明专利]一种多头部姿态人脸表情识别方法及其应用

权利要求书

1.一种多头部姿态人脸表情识别方法，其特征在于，包括步骤：

获取训练样本对，所述训练样本对中包括同一表情的正脸图片和非正脸图片；

将所述训练样本对输入到预先构建的识别模型进行训练，所述识别模型包括正脸识别网络和非正脸识别网络，所述正脸识别网络包括特征提取主干网络和正脸表情特征提取网络，所述非正脸识别网络包括特征提取主干网络、注意力模块和非正脸表情分类网络，所述注意力模块用于提取表情特征和头部姿态特征，所述正脸识别网络和所述非正脸识别网络两者的特征提取主干网络的参数共享，训练时最小化所述非正脸表情分类网络与所述正脸表情特征提取网络两者输出表情特征之间的表情差异损失；

所述注意力模块包括第一注意力模块和第二注意力模块，所述第一注意力模块用于提取输入非正脸图片的头部姿态特征，所述第二注意力模块用于提取输入非正脸图片的表情特征，训练时最小化所述第一注意力模块和所述第二注意力模块的正交通道注意力损失；

所述分类网络包括第一分类模块和第二分类模块，所述第一分类模块用于接收所述第一注意力模块的输出，并输出头部姿态分类结果，所述第二分类模块用于接收所述第二注意力模块的输出，并输出表情分类结果，训练时，根据所述第一分类模块的预测损失、所述第二分类模块的预测损失、所述表情差异损失和所述正交通道注意力损失，计算所述识别模型的总损失。

2.如权利要求1所述的一种多头部姿态人脸表情识别方法，其特征在于，所述第一分类模块、所述第二分类模块均包括依次连接的三个全连接层，所述正脸表情特征提取网络包括一个全连接层，所述表情差异损失是所述第二分类模块的任意一个全连接层输出的表情特征与所述正脸表情特征提取网络的全连接层输出的表情特征的差异损失。

3.如权利要求1所述的一种多头部姿态人脸表情识别方法，其特征在于，所述注意力模块还包括全局平均池化层，所述全局平均池化层用于计算所述非正脸识别网络的特征提取主干网络的每个特征通道的平均值，并将它们连接成矢量。

4.如权利要求1所述的一种多头部姿态人脸表情识别方法，其特征在于，所述正交通道注意力损失的计算公式为：

其中，为所述正交通道注意力损失，A_h为所述第一注意力模块的注意力，A_e为所述第二注意力模块的注意力。

5.如权利要求4所述的一种多头部姿态人脸表情识别方法，其特征在于，所述识别模型的总损失的计算公式为：

其中，为所述识别模型的总损失，为所述第一分类模块的预测损失和所述第二分类模块的预测损失之和，为所述表情差异损失，为正则项，λ₁,λ₂,和λ₃分别是和的权重参数。

6.一种多头部姿态人脸表情识别系统，其特征在于，包括：

样本获取模块，用于获取训练样本对，所述训练样本对中包括同一表情的正脸图片和非正脸图片；

训练模块，用于将所述训练样本对输入到预先构建的识别模型进行训练，所述识别模型包括正脸识别网络和非正脸识别网络，所述正脸识别网络包括特征提取主干网络和正脸表情特征提取网络，所述非正脸识别网络包括特征提取主干网络、注意力模块、和非正脸表情分类网络，所述注意力模块用于提取表情特征和头部姿态特征，所述正脸识别网络和所述非正脸识别网络两者的特征提取主干网络的参数共享，训练时最小化所述非正脸表情分类网络与所述正脸表情特征提取网络两者输出的表情特征之间的表情差异损失；

所述注意力模块包括第一注意力模块和第二注意力模块，所述第一注意力模块用于提取输入非正脸图片的头部姿态特征，所述第二注意力模块用于提取输入非正脸图片的表情特征，训练时最小化所述第一注意力模块和所述第二注意力模块的正交通道注意力损失；

所述分类网络包括第一分类模块和第二分类模块，所述第一分类模块用于接收所述第一注意力模块的输出，并输出头部姿态分类结果，所述第二分类模块用于接收所述第二注意力模块的输出，并输出表情分类结果，训练时，根据所述第一分类模块的预测损失、所述第二分类模块的预测损失、所述表情差异损失和所述正交通道注意力损失，计算所述识别模型的总损失。