[发明专利]一种人脸表情识别方法及人脸表情识别装置

权利要求书

1.一种人脸表情识别方法，其特征在于，包括：

构建并训练基于卷积神经网络的情绪识别模型；

将待识别的人脸图像输入所述情绪识别模型，以输出所述人脸图像的情绪类别，所述情绪类别包括正面情绪、负面情绪以及中立情绪中的一种；

获取与所述情绪类别对应的表情识别模型；

将所述人脸图像输入所述表情识别模型，以输出所述人脸图像的表情类别。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

若所述表情类别包含有一级或多级子表情类别，则获取所述表情类别所对应的各级子表情识别模型；

将所述人脸图像依次输入各级子表情识别模型，以输出所述人脸图像的子表情类别。

3.如权利要求1所述的方法，其特征在于，所述构建并训练基于卷积神经网络的情绪识别模型包括：

获取已知类别的多张人脸训练图像；

利用所述人脸训练图像对基于多层卷积神经网络的情绪识别模型以及表情识别模型进行训练；

利用交叉熵损失函数分别评价所述情绪识别模型以及表情识别模型的拟合程度，当所述拟合程度达到预设阈值时，通过反向传播调整所述情绪识别模型以及表情识别模型中的各个权重参数，以得到训练完成后的所述情绪识别模型以及所述表情识别模型。

4.如权利要求3所述的方法，其特征在于，在所述通过反向传播调整所述情绪识别模型以及表情识别模型中的各个权重参数之后，所述方法还包括：

利用所述情绪识别模型以及表情识别模型对多张人脸测试图像进行识别测试，得到测试结果；

根据所述测试结果，生成所述情绪识别模型以及表情识别模型分别对应的混淆矩阵；

通过所述混淆矩阵，计算所述情绪识别模型以及所述表情识别模型的识别正确率；

若所述情绪识别模型的识别正确率未达到预设值，则通过反向传播调整所述情绪识别模型中的各个权重参数后，重新对多张人脸测试图像进行识别测试，并计算所述情绪识别模型在该次测试中的识别正确率，直至所述情绪识别模型的识别正确率达到预设值时，得到训练完成后的所述情绪识别模型；

若所述表情识别模型的识别正确率未达到预设值，则通过反向传播调整所述表情识别模型中的各个权重参数后，重新对多张人脸测试图像进行识别测试，并计算所述表情识别模型在该次测试中的识别正确率，直至所述表情识别模型的识别正确率达到预设值时，得到训练完成后的所述表情识别模型。

5.如权利要求1所述的方法，其特征在于，所述将待识别的人脸图像输入所述情绪识别模型，以输出所述人脸图像的情绪类别包括：

获取所述待识别的人脸图像的初始三维张量；

将所述初始三维张量输入基于SoftMax分类算法的所述情绪识别模型；

利用所述情绪识别模型，计算出所述初始三维张量分别在所述正面情绪、负面情绪以及中立情绪中的出现概率，并将其中所述出现概率最大的一个情绪类别输出为所述人脸图像的情绪类别。

6.一种人脸表情识别装置，其特征在于，包括：

训练单元，用于构建并训练基于卷积神经网络的情绪识别模型；

情绪识别单元，用于将待识别的人脸图像输入所述情绪识别模型，以输出所述人脸图像的情绪类别，所述情绪类别包括正面情绪、负面情绪以及中立情绪中的一种；

第一获取单元，用于获取与所述情绪类别对应的表情识别模型；

表情识别单元，用于将所述人脸图像输入所述表情识别模型，以输出所述人脸图像的表情类别。

7.如权利要求6所述的装置，其特征在于，所述装置还包括：

第二获取单元，用于若所述表情类别包含有一级或多级子表情类别，则获取所述表情类别所对应的各级子表情识别模型；

子表情识别单元，用于将所述人脸图像依次输入各级子表情识别模型，以输出所述人脸图像的子表情类别。