[发明专利]一种半监督人脸情绪识别方法

说明书

本发明公开了一种半监督人脸情绪识别方法，包括获取基础图像数据样本；对标签数据进行预测，计算预测值和标签值之间的距离作为监督损失；将无标签数据生成平滑伪标签，将平滑伪标签和预测值之间的距离作为半监督损失；构建基于相似性学习的三元组损失，包括对图像数据的深度特征进行聚类，构建三元组，计算相似性三元组损失，构建完整损失函数，并根据梯度下降更新网络参数；获取半监督人脸情绪识别模型，并对当前的人脸图像数据进行情绪分析。本发明在连续域数据集中识别准确高效，同时通过调整末端在离散域数据集中取得了优异的识别率；本发明通过基于相似性学习的三元组损失函数，能够学习人脸图像间的相似性，提高了情绪变化的识别率。

技术领域

本发明属于计算机技术领域，具体涉及一种半监督人脸情绪识别方法。

背景技术

对人类情感的精确识别可以帮助人工智能实现人机交互。目前，情绪识别主流的方法包括基于特征的方法和基于深度学习的方法。特征提取的方法主要基于定向梯度直方图和局部二进制模式，但这些特征不适用于数据的非线性结构，准确率不高。利用深度学习技术，基于面部表情的情感识别得到了显著提高。深度学习技术需要大量标签数据对神经网络进行训练，而这会导致训练过程中需要耗费大量人力物力。目前常见的数据集包括离散域数据集和连续域数据集，其中，离散域数据集包含的数据有限，难以表达丰富的人类情感，而获取连续域数据集标签的成本高昂，训练难度大。

发明内容

本发明的目的在于提供一种半监督人脸情绪识别方法(Semi-supervisedEmotion Recognition，简称为Semi Emotion)，本方法能够简单高效地识别丰富的人脸情绪。

本发明提供的这种半监督人脸情绪识别方法，包括如下步骤：

S1.获取基础图像数据样本，包括标签数据和无标签数据；

S2.采用CNN-LSTM(卷积神经网络-长短期记忆网络)回归器对标签数据进行预测，计算预测值和标签值之间的距离作为监督损失；

通过CNN-LSTM回归器，使用微调MixUp和时间集成为无标签数据生成平滑伪标签，将平滑伪标签和预测值之间的距离作为半监督损失；

S3.构建基于相似性学习的三元组损失，包括对图像数据的深度特征进行聚类，基于聚类结果构建三元组，通过三元组之间的相似度计算相似性三元组损失，并根据梯度下降更新网络参数；

S4.通过监督损失、半监督损失和相似性三元组损失的加权构建CNN-LSTM回归器的完整损失函数，根据损失值和梯度下降更新网络参数获取半监督人脸情绪识别模型，并对当前的人脸图像数据进行情绪分析。

所述的CNN-LSTM回归器，包括在每一帧中，使用S3D人脸检测算法对图像的人脸区域进行检测；利用基于ResNet的CNN编码器提取深度特征；在引入LSTM之前，通过全连接层将提取的特征长度调整为2048；在引入LSTM之后，分别由两个不同的全连接层输出激励和效价；LSTM包括遗忘门、输入门和输出门。

所述的步骤S2包括，对无标签数据进行数据扩充，然后对扩充数据的预测取均值；使用微调MixUp对标签数据与无标签数据混合后得到目标数据；网络对目标数据进行预测并计算损失函数。

所述的步骤S3，包括如下步骤：

A1.对图像的深度特征进行聚类：

A2.通过一次迭代后CNN提取的样本特征计算加权项，将加权项加入聚类中心中进行更新；

A3.给定一个批处理的样本，对批处理的样本中的数据构建三元组，得到聚类空间的数据的激活矩阵，并计算数据间的相似性与差异性损失；通过数据间的相似性和差异性损失获取最终的相似性三元组损失。