[发明专利]一种人脸表情识别方法、装置及存储介质

权利要求书

1.一种人脸表情识别方法，其特征在于，包括：

获取人脸图像，将所述人脸图像进行对齐处理得到对齐人脸图像；

根据人脸表情与面部器官的强关联性获取所述对齐人脸图像中的重要关键点，基于所述重要关键点在所述对齐人脸图像中划分四个图像区域，所述四个图像区域包括左眼区域、右眼区域、嘴部区域和额头及鼻部区域；

标注所述对齐人脸图像中的人脸表情以及每个图像区域对应的状态，得到训练集数据；

将所述训练集数据输入至预先设计好的神经网络结构中，以人脸表情以及每个图像区域对应的状态作为输出结果，进行模型训练得到人脸表情识别模型；

将待识别人脸图像输入至所述人脸表情识别模型中得到人脸表情识别结果以及每个图像区域对应的状态，在所述人脸表情识别结果的概率在预设阈值范围时，根据所述每一个图像区域对应的状态对所述人脸表情识别结果进行修正，得到最终的人脸识别结果。

2.如权利要求1所述的人脸表情识别方法，其特征在于，获取人脸图像，将所述人脸图像进行对齐处理得到对齐人脸图像，包括：

采用人脸68点关键点检测算法获取所述人脸图像中的68个人脸关键点，并通过坐标点表示每一个人脸关键点的位置；

根据所述人脸图像中鼻部区域关键点、嘴部区域关键点、左眼部周边关键点和右眼部周边关键点进行仿射变换得到对齐人脸图像。

3.如权利要求1所述的人脸表情识别方法，其特征在于，根据人脸表情与面部器官的强关联性获取所述对齐人脸图像中的重要关键点，基于所述重要关键点在所述对齐人脸图像中划分四个图像区域，包括：

根据人脸表情与面部器官的强关联性，获取左眼部对应的重要关键点、右眼部对应的重要关键点、嘴部对应的重要关键点，以及额头及鼻部对应的重要关键点，根据所有所述重要关键点的坐标均值在所述对齐人脸图像中划分四个图像区域。

4.如权利要求1所述的人脸表情识别方法，其特征在于，

所述人脸表情包括平静、愤怒、高兴、悲伤、惊讶、厌恶和惊讶；

所述左眼区域和右眼区域的状态包括眼睛眯起、眼部放松和眼部圆瞪；

所述额头及鼻部区域的状态分为放松、皱眉和皱鼻；

所述嘴部区域的状态包括闭口放松、闭口紧闭、张口放松和张口收紧。

5.如权利要求1所述的人脸表情识别方法，其特征在于，进行模型训练得到人脸表情识别模型，包括：

将人脸表情的预测作为classes=7的分类问题，将额头及鼻部区域、左眼区域、右眼区域和嘴部区域的预测分别作为classes=3、3、3、4的分类问题，并采用交叉熵函数进行训练，得到人脸表情识别模型。

6.如权利要求5所述的人脸表情识别方法，其特征在于，所述交叉熵函数为：

其中，y_i为预测的样本i的标签，c为样本i的真实标签，p(y_i)为样本i标签为y_i的概率，1{}为指示函数，当判断条件为真时，指示函数的值为1，当判断条件为假时，指示函数的值为0。

7.如权利要求1所述的人脸表情识别方法，其特征在于，所述在所述人脸表情识别结果的概率在预设阈值范围时，根据所述每一个图像区域对应的状态对所述人脸识别结果进行修正，得到最终的人脸识别结果，包括：

在所述人脸表情识别结果的概率在预设阈值范围时，检查与所述人脸表情识别结果强相关的图像区域对应的状态，若所述状态不支持所述人脸表情识别结果，则根据所述图像区域对应的状态修正所述人脸识别结果。

8.如权利要求1所述的人脸表情识别方法，其特征在于，在将所述训练集数据输入至预先设计好的神经网络结构中之前，采用数据增强方法对所述训练集数据进行预处理，所述数据增强方法包括水平翻转、对比度增强、加高斯噪声和随机单应性变换的至少一种。