[发明专利]人脸表情识别方法、装置、终端设备及存储介质

权利要求书

1.一种人脸表情识别方法，其特征在于，包括：

对待识别人脸图像进行人脸表观信息提取和人脸特征点检测，得到第一表观特征信息和第一特征点信息；

将所述第一表观特征信息和所述第一特征点信息融合得到第一特征向量；

将所述第一特征向量输入表情识别模型，得到预测表情；

确定与所述预测表情关联的相似表情；

将所述待识别人脸图像输入与所述预测表情和所述预测表情对应的所述相似表情关联的表情区分模型，得到表情识别结果；所述表情区分模型用于区分所述预测表情以及与所述预测表情对应的所述相似表情。

2.如权利要求1所述的人脸表情识别方法，其特征在于，在将所述待识别人脸图像输入表情区分模型，得到表情识别结果之后，还包括：

若所述待识别人脸图像为人脸视频数据中任一帧图像，则将所述人脸视频数据中位于所述待识别人脸图像所在的预设时间范围内的N帧图像，作为所述待识别人脸图像的关联图像；

分别将每帧所述关联图像与所述待识别人脸图像进行相似性比对，将与所述待识别人脸图像相似的所述关联图像作为参考图像；

分别对每帧所述参考图像进行表情识别，得到每帧所述参考图像对应的表情类别；

分别统计各个所述表情类别在所述参考图像以及所述待识别人脸图像组成的图像组中对应的图像个数；所述待识别人脸图像的表情类别根据所述表情识别结果确定；

确定所述图像个数最多的表情类别为所述待识别人脸图像的人脸表情。

3.如权利要求2所述的人脸表情识别方法，其特征在于，所述分别将每帧所述关联图像与所述待识别人脸图像进行相似性比对，将与所述待识别人脸图像相似的所述关联图像作为参考图像，包括：

采用人脸关键点检测算法对每帧所述关联图像进行特征点提取，得到每帧所述关联图像对应的人脸特征点；

根据所述待识别人脸图像的特征点信息对所有所述关联图像对应的人脸特征点进行聚类，将与所述待识别人脸图像在同一集群的若干帧关联图像作为所述参考图像。

4.如权利要求2所述的人脸表情识别方法，其特征在于，所述分别对每帧所述参考图像进行表情识别，得到每帧所述参考图像对应的表情类别，包括：

对每帧所述参考图像进行人脸表观信息提取和人脸特征点检测，得到每帧所述参考图像的第二表观特征信息和第二特征点信息；

将每帧所述参考图像的所述第二表观特征信息和所述第二特征点信息融合，得到每帧所述参考图像的第二特征向量；

将各帧所述参考图像的所述第二特征向量输入表情识别模型，得到各帧所述参考图像的预测表情；

确定与各帧所述参考图像的所述预测表情关联的相似表情；

对于每帧所述参考图像，将所述参考图像输入与所述参考图像关联的表情区分模型，得到表情类别；与所述参考图像关联的表情区分模型用于区分所述参考图像的所述预测表情以及与所述参考图像的所述预测表情关联的相似表情。

5.如权利要求1所述的人脸表情识别方法，其特征在于，所述对待识别人脸图像进行人脸表观信息提取和人脸特征点检测，得到第一表观特征信息和第一特征点信息，包括：

采用神经网络对待识别人脸图像进行人脸表观信息提取，得到所述第一表观特征信息；

采用人脸关键点检测算法对待识别人脸图像进行人脸特征点检测，得到所述第一特征点信息。

6.如权利要求1所述的人脸表情识别方法，其特征在于，在将所述第一特征向量输入表情识别模型，得到预测表情之前，还包括：

获取训练数据；所述训练数据包括具有表情标签的若干人脸图像；

将所述训练数据输入神经网络分类层进行训练，生成所述表情识别模型。

7.根据权利要求1所述的人脸表情识别方法，其特征在于，在将所述待识别人脸图像输入与所述预测表情和所述预测表情对应的所述相似表情关联的表情区分模型，得到表情识别结果之后，包括：

将所述表情识别结果上传至区块链。