[发明专利]一种时空特征融合与样本注意增强的人脸识别方法及系统

权利要求书

1.一种时空特征融合与样本注意增强的人脸识别方法，其特征在于，包括以下步骤：

S1、对输入的视频进行人脸检测，得到特定目标类别的人脸边界框B；

S2、使用步骤S1得到的人脸边界框B从视频中提取人脸序列F，并对人脸序列F进行质量评价得到对应的人脸质量分数S；

S3、使用ConvGRU算法对步骤S2中得到的人脸序列F进行时间维度的特征提取，得到时间维度特征F^T；

S4、根据步骤S2中的人脸质量分数S，选出人脸质量分数最高的人脸f_k作为关键帧；调整尺寸后送入到Resnet50网络中提取特征图，将关键帧的尺寸调整为112×112×3后送入Resnet50网络中，分别提取出28×28×128，14×14×256，7×7×512大小的特征图；

S5、构造空间特征融合网络ASFF，对步骤S4中得到的特征图进行加权融合操作，得到空间维度特征F^S，使用空间特征融合网络ASFF对特征图进行加权融合操作具体为：

S501、对尺寸为28×28×128的特征图进行处理，依次通过第一卷积层、第一最大池化层、第二卷积层、第二最大池化层；得到7×7×512的新特征图x¹；

S502、对尺寸为14×14×256的特征图进行处理，依次通过第一卷积层、第一最大池化层，得到7×7×512的新特征图x²；

S503、对尺寸为7×7×512的特征图做恒等变换得到新特征图x³；

S504、分别计算步骤S501、S502和S503得到的新特征图x¹，x²，x³对应的权重α，β，γ；

S505、根据步骤S504得到的权重α，β，γ计算得到空间特征F^S；

S6、将步骤S3得到的时间维度特征F^T和步骤S5中得到的空间维度特征F^S进行通道间的拼接，进行融合操后得到鲁棒的时空特征；

S7、在训练阶段，使用ADAM-Softmax损失函数对ConvGRU算法、空间特征融合网络ASFF和Resnet50网络构成的人脸识别模型进行调整；在测试阶段，使用步骤S6中得到的鲁棒时空特征进行人脸识别操作。

2.根据权利要求1所述的方法，其特征在于，步骤S2中，使用评价网络Q得到人脸质量评价分数具体为：

S201、将人脸图像f_i输入到评价网络Q中，依次通过第一卷积层、第一最大池化层、第一BatchNorm层、第二卷积层、第二最大池化层、第二BatchNorm层、第三卷积层、第三最大池化层、第三BatchNorm层和全连接层；得到人脸图像的质量特征；

S202、根据步骤S201得到的人脸图像质量特征，使用sigmoid函数计算质量分数，得到质量分数s_i。

3.根据权利要求1所述的方法，其特征在于，步骤S3中，使用ConvGRU算法对人脸序列F进行时间维度的特征提取具体为：

S301、计算经过更新门后的临时特征r_t；

S302、计算经过遗忘门后的临时特征z_t；

S303、计算临时隐藏特征

S304、计算当前时刻的隐藏特征h_t；

S305、计算当前时刻的输出o_t；

S306、将步骤S301～步骤S305重复执行n次，n为输出的人脸序列个数；得到时间特征F^T。

4.根据权利要求1所述的方法，其特征在于，步骤S6具体为：

S601、利用残差块对[F^T,F^S]进行通道间信息融合，将[F^T,F^S]依次通过第一1×1卷积层、第一3×3卷积层、第二1×1卷积层，得到临时特征F′；

S602、对临时特征F′进行全局平均池化操作得到临时特征F″；

S603、对临时特征F″使用全连接操作得到512维的特征F^ST。