[发明专利]对比学习结合掩码图像建模的自监督人脸表情识别方法

权利要求书

1.一种对比学习结合掩码图像建模的自监督人脸表情识别方法，其特征在于，所述方法包括以下步骤：

步骤1，构建对比学习结合掩码图像建模的自监督人脸表情识别模型；

步骤2，在自监督人脸表情识别模型上进行无监督的预训练；

步骤3，对预训练后的自监督人脸表情识别模型在带标签的验证集上进行线性探测评估和微调评估；

步骤4，采用微调评估后的自监督人脸表情识别模型，对输入的人脸图像进行表情识别。

2.根据权利要求1所述的对比学习结合掩码图像建模的自监督人脸表情识别方法，其特征在于，步骤1所述构建对比学习结合掩码图像建模的自监督人脸表情识别模型，具体包括：

步骤1-1，计算输入图像x的方向梯度直方图HOG特征z^hog；

步骤1-2，对输入图像进行处理，给定输入图像首先分成N＝HW/P²个图像块patches：其中C是通道的数量，为3个通道RGB；(H,W)是输入图像的分辨率，即(224,224)；(P,P)是每个图像块的分辨率，大小为(16,16)，N为196；

步骤1-3，将输入图像x进行随机变换，产生两个相关增强视图表示为u和v，作为正样本对，分别送入学生网络g_s和教师网络g_t；

步骤1-4，通过线性投影，二维图像x的两个增强视图u和v被展平为图像块，分别表示为和均看作一个长度为N的图像块视觉词tokens序列；

步骤1-5，对于图像视觉词序列掩码图像建模首先根据掩码预测比例r生成随机掩码m∈{0,1}^N，其中视觉词个数为N；然后用掩码视觉词[M]替换图像块视觉词u_i，生成一个经过掩码的图像

其中，m为1时表示u_i被掩码，即被掩码视觉词[M]替换；m为0时则表示未掩码；掩码图像建模旨在从经过掩码的图像中恢复被掩码的视觉词；

步骤1-6，使用视觉Transformer ViT-S/16的编码器作为自监督人脸表情识别模型的主干网络f，/16表示图像块大小为16，编码器Encoder层数为12；

步骤1-7，增强视图u和v通过一个线性层转换为一组嵌入序列，在序列中添加一个额外的可学习的视觉词token；该类别视觉词[CLS]的作用是聚合整个序列的信息，不附加任何标签或监督；视图u经过掩码后，图像块视觉词和类别视觉词[CLS]的集合被送入到学生网络的Transformer编码器f_s；视图v未经掩码，图像块视觉词v和类别视觉词[CLS]直接送入教师网络的编码器f_t；

步骤1-8，自监督人脸表情识别模型的投影头h由一个3层的多层感知机MLP，一个l₂归一化层和一个权重归一化的K维的全连接层组成；

步骤1-9，自监督人脸表情识别模型的网络g由主干网络f和投影头h组成，学生网络和教师网络共享相同的架构g，且具有不同的参数集θ_s和θ_t；使用大小为224×224的图像对Transformer进行预训练和微调，图像块视觉词的总数N为196，共享投影头的输出维度设置为108，最终输出的向量维度K为21168。