[发明专利]一种基于特征解耦的异质人脸识别方法及装置

说明书

本发明涉及异质人脸识别领域，特别是一种基于特征解耦的异质人脸识别方法及装置。本发明将预处理后的人脸图像输入到特征提取主干网络，提取出对应的面部特征并将其传递给残差分解模块，该模块将面部特征解耦为身份特征信息、模态信息和残差信息。其中，身份特征信息用于人脸比对和识别，而模态信息用于建模图像的模态来源，残差信息用于建模其他外部因素，如表情、年龄等，由此从本质上消除了异质人脸识别中跨域差异的影响，以及其他外部因素变化的影响，提高人脸识别的精度和鲁棒性。

技术领域

本发明涉及异质人脸识别领域，特别是一种基于特征解耦的异质人脸识别方法及装置。

背景技术

异质人脸识别是一种跨视觉域的人脸识别技术。随着人脸识别技术的发展和普及，异质人脸识别在许多实际场景中起着越来越重要的作用，典型的例子如：将可见光(VIS)人脸图像与近红外(NIR)或热红外(TIR)人脸图像进行匹配，用于低(弱)光照条件下的公共安全监控；将人脸素描和照片进行比对，用于辅助刑侦执法等。由于不同视觉域图像间存在显著的外观差异，传统的同质人脸识别方法的识别性能会受到严重的影响。迫于跨域人脸识别的现实应用需求，近年来，已有研究工作致力于学习模态不变的身份特征。然而，大部分方法仅仅专注于提取身份特征，而没有明确排除域差异。为了显式的消除模态差异，一些工作尝试将人脸表征划分为模态共享的身份特征和模态特有的频谱信息；仅少数工作提出将人脸表征分解为身份相关信息、模态信息(即人脸图像的来源，如可见光、近红外以及素描等)和残差信息(如姿态、表情以及年龄等外界因素)。

现有的用于异质人脸识别的特征分解方法中，大部分方法仅考虑将人脸表征划分为模态共享的身份特征和模态特有的频谱信息，以此消除模态差异对识别性能的影响。然而，除不同模态数据分布之间的显著差异外，外界环境如姿态、表情、年龄等的变化也会给人脸识别的性能带来影响。因此，这些方法的识别性能在一定程度上仍然会受到外界环境变化的影响。此外，大部分方法对每个分量单独进行分解，对不同分量之间的关系无任何约束，或者仅约束分量之间线性独立。此类方法会存在以下问题：1)独立的分解方式会导致分量之间的互补关系丢失或者分量之间出现信息重叠。2)分量之间无任何独立性约束，难以保证身份特征分量不会受到其他分量，如模态信息变化的影响。3)由于高维表征通常分布在高维的非线性流形上，线性关系难以描述高维特征之间的复杂关系，由此导致分量之间的线性独立约束次优。

所以本发明提出一种基于特征解耦的异质人脸识别方法及装置来消除跨域分布差异以及其他身份无关因素的变化对人脸识别的影响。

发明内容

本发明的目的在于克服现有技术中所存在的跨域分布差异以及其他身份无关因素的变化对人脸识别的影响大的问题，提供一种基于特征解耦的异质人脸识别方法及装置。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于特征解耦的异质人脸识别方法，包括以下步骤：

S1：采集人脸图像，并对所述人脸图像进行对齐和裁剪，输出处理后的人脸图像，所述处理后的人脸图像与特征提取主干网络的输入相匹配；

S2：将所述处理后的人脸图像输入到特征提取主干网络，获取其面部表征；

S3：输入所述面部表征到残差分解模块进行分解，得到所述处理后的人脸图像对应的身份特征信息、模态信息和残差信息；

S4：将所述身份特征信息、模态信息和残差信息输入到对抗去相关模块进行解耦和优化，输出优化后的身份特征向量；

S5：根据所述身份特征向量进行相似度计算，得到人脸识别结果。