[发明专利]人脸表情识别方法、系统、装置及可读存储介质

权利要求书

1.一种人脸表情识别方法，其特征在于，包括以下步骤：

获取人脸表情图像，将获得的人脸表情图像组成无遮挡人脸表情图像数据集；

对无遮挡人脸表情图像数据集中的每一个人脸表情图像样本进行随机遮挡处理形成遮挡人脸表情图像数据集；

将无遮挡人脸表情图像数据集和遮挡人脸表情图像数据集进行等比例混合得到图像数据集，将图像数据集等比例分成训练数据集和验证数据集；

构建遮挡人脸表情识别模型，并基于训练数据集对遮挡人脸表情识别模型进行训练，训练完成后将验证数据集作为输入，对训练结果进行验证，得到遮挡人脸表情识别模型；

基于遮挡人脸表情识别模型对有遮挡物或无遮挡物待检测人脸表情图像进行表情识别，得到人脸表情图像以及表情识别结果；

所述遮挡人脸表情识别模型包括编码器、解码器及表情分类器；

所述构建遮挡人脸表情识别模型，具体步骤包括：

所述编码器接收输入图像，输出图像特征，表示为：

f＝E(I)

其中，I表示输入图像，f表示图像特征，所述输入图像包含无遮挡人脸表情图像数据集中的无遮挡人脸表情图像和遮挡人脸表情图像数据集的遮挡人脸表情图像，图像特征包括遮挡人脸表情图像特征、重构图像人脸表情图像特征和无遮挡人脸表情特征，所述重构图像人脸表情图像特征是在训练的过程中由遮挡人脸表情图像动态生成；

将遮挡人脸表情图像特征、重构图像人脸表情图像特征和无遮挡人脸表情特征输入至表情分类器中的全连接层中映射为表情类别，并通过softmax函数得到人脸表情图像属于每个表情类别的概率，并计算得到表情分类的损失值，表情分类的损失值表示为：

其中，W表示全连接层参数矩阵，C表示总的表情类别；b表示全连接层的偏置项，j表示所有的表情类别索引，f表示输入图像的特征向量，i表示该图像所属的表情类别，e表示指数；

将遮挡人脸表情图像特征输入至解码器进行预测得到重构图像对应的无遮挡人脸表情图像的预测结果，基于预测结果与实际无遮挡人脸表情图像集之间的差异，计算重构图像和对应无遮挡图像的像素图像重构损失值，像素图像重构损失值L_recon表示为：

L_recon＝|I-D(E(I))|₁

其中，I表示输入图像，D表示解码器，E表示编码器；

将训练数据集作为输入，通过编码器提取训练数据集中的原始无遮挡图像的各层的特征表示，通过损失函数约束编码器各个卷积层的输出原始无遮挡图像对应的特征相似度，计算得到特征约束损失值L_feature；

基于表情分类的损失值、像素图像重构损失值以及特征约束损失值获取遮挡人脸表情识别模型的总体训练损失，表示为：L_total＝L_emotion+w₁L_feature+w₂L_recon，其中，w₁，w₂分别表示特征约束损失和图像重构损失的权重；

基于梯度下降法更新模型M的权重，重复计算表情分类的损失值、像素图像重构损失值以及特征约束损失值的过程，直至得到无遮挡人脸表情图像集人脸表情识别结果停止计算；

将表情分类的损失值、像素图像重构损失值以及特征约束损失值替换至遮挡人脸表情识别模型中，得到遮挡人脸表情识别模型。

2.根据权利要求1所述的人脸表情识别方法，其特征在于，还包括图像数据集标定步骤：

基于图像数据集中每一个人脸表情图像样本的特性标注以下内容：

人脸表情类别、是否有遮挡处理以及对应的遮挡或未遮挡的图像。

3.根据权利要求2所述的人脸表情识别方法，其特征在于，所述梯度下降的具体过程为：基于总体训练损失L_total计算对参数θ的梯度并在该梯度方向上更新参数θ，具体为：

其中，α表示学习率。