[发明专利]一种基于特征解耦的异质人脸识别方法及装置

权利要求书

1.一种基于特征解耦的异质人脸识别方法，其特征在于，包括以下步骤：

S1：采集人脸图像，并对所述人脸图像进行对齐和裁剪，输出处理后的人脸图像，所述处理后的人脸图像与特征提取主干网络的输入相匹配；

S2：将所述处理后的人脸图像输入到特征提取主干网络，获取其面部表征；

S3：输入所述面部表征到残差分解模块进行分解，得到所述处理后的人脸图像对应的身份特征信息、模态信息和残差信息；其中，所述身份特征信息用于人脸比对和识别，所述模态信息用于建模图像的模态来源，所述残差信息用于建模其他外部因素；

S4：将所述身份特征信息、模态信息和残差信息输入到对抗去相关模块进行解耦和优化，输出优化后的身份特征向量；

S5：根据所述身份特征向量进行相似度计算，得到人脸识别结果；

其中，所述残差分解模块包括身份注意力网络IAN和模态注意力网络MAN，所述步骤S3包括以下步骤：

S31：将所述面部表征输入所述身份注意力网络IAN并将其分解为身份特征信息F_id和身份无关的信息F_os：

其中，F_i为所述面部表征，IAN(F_i)∈[0,1]^c×h×w是身份特征注意力图，表示按元素相乘；

S32：将所述身份无关的信息F_os输入到所述模态注意力网络MAN中并将其分解为模态信息和残差信息：

其中，MAN(F_os)∈[0,1]^c×h×w是模态注意力图，F_dm是模态信息，F_res表示残差信息；

所述对抗去相关模块包括基于互信息的对抗去相关网络MIbAD和基于总体相关的对抗去相关网络TCbAD；

其中，所述基于互信息的对抗去相关网络MIbAD用于增强所述身份特征信息F_id对所述身份无关信息F_os变化的鲁棒性；所述基于总体相关的对抗去相关网络TCbAD用于获取身份特征向量，并增强所述身份特征向量的表达能力以及对各维度变化的鲁棒性。

2.根据权利要求1所述的一种基于特征解耦的异质人脸识别方法，其特征在于，所述步骤S1包括：

S11：采集人脸图像，获取所述人脸图像的五个人脸关键点；

S12：根据所述人脸关键点将所述人脸图像进行对齐和裁剪，输出处理后的人脸图像，所述处理后的人脸图像与所述特征提取主干网络的输入相匹配。

3.根据权利要求1所述的一种基于特征解耦的异质人脸识别方法，其特征在于，所述步骤S2包括：将所述处理后的人脸图像x_i输入到所述特征提取主干网络G_f，通过特征提取过程F_i＝G_f(x_i,Θ_f)，得到所述处理后的人脸图像x_i的面部表征F_i；其中，Θ_f为所述特征提取主干网络的参数，F_i∈R^c×h×w，R^c×h×w表示c×h×w维度的实数空间，c,h,w分别是所述面部表征F_i的通道数、高和宽。

4.根据权利要求1所述的一种基于特征解耦的异质人脸识别方法，其特征在于，所述基于互信息的对抗去相关网络MIbAD包括以下执行流程：

S41：将所述身份特征信息F_id和所述身份无关的信息F_os输入到所述基于互信息的对抗去相关网络MIbAD中，最小化所述身份特征信息F_id和所述身份无关的信息F_os之间的依赖关系，其最大最小对抗目标表述为：

其中，D_mi表示互信息判别器网络，P(*)为边缘概率分布，P(*,*)为联合概率分布，表示基于JS散度的互信息估计，E_x～p[*]表示从概率分布P中随机采样并计算样本对应值的期望。