[发明专利]一种基于编解码器的跨模态红外偏振人脸识别方法

权利要求书

1.一种基于编解码器的跨模态红外偏振人脸识别方法，对红外偏振人脸图像进行识别，其特征在于，包括以下内容：

步骤S1、在训练阶段，使用可见光人脸数据库和红外偏振人脸数据库中的各个人脸图像来训练编解码器结构：

所述编码器将每张人脸图像均对应编码为一组身份特征和模态特征，解码器将每一组身份特征与模态特征进行重组解码，重新生成对应的人脸图像；

步骤S2、构造特征相似度损失函数和重构损失函数、并对所述编解码器结构进行约束；

步骤S3、在测试阶段，使用经步骤S1和S2训练好的所述编解码器，对可见光人脸数据库中的可见光人脸图像逐个进行编码并生成数据库身份特征idF_base，对待识别红外偏振人脸图像进行编码生成待识别身份特征idF_x，计算所述待识别身份特征idF_x与数据库身份特征idF_base的余弦相似度，取相似度的最大值匹配对应人脸身份。

2.如权利要求1所述的一种基于编解码器的跨模态红外偏振人脸识别方法，其特征在于，所述步骤S1的具体内容为：

令可见光人脸数据库为Vis_base＝{Vis₁，Vis₂...Vis_n}和红外偏振人脸数据库为Polar_base＝{Polar₁，Polar₂...Polar_n}；

其中，n表示不同身份的人脸i∈[1,n]，每个相同身份的人包含m张人脸数据，对于不同模态的相同身份人脸记为j∈[1,m]，所述可见光人脸数据库中的每张人脸图像记作Vis_i,j，所述红外偏振人脸数据库中的每张人脸图像记作Polar_i,j，i表示不同身份的人脸数据，j表示相同身份不同姿态的人脸数据；

在训练过程中的编码阶段，逐个选取可见光人脸图像Vis_p,q输入编码器、并得到多组可见光身份特征idF_p和可见光模态特征modeF_vis，接着逐个将红外偏振人脸图像Polar_s,t输入编码器、并得到多组身份特征idF_s和红外偏振模态特征modeF_polar；

在训练过程中的解码阶段，将同一身份同一模态的可见光身份特征idF_p与红外偏振模态特征modeF_polar结合作为编码器的输入合成红外偏振人脸数据VPolar_p,t，将同一身份同一模态的红外偏振身份特征idF_s与可见光模态特征modeF_vis结合作为编码器的输入合成可见光人脸数据PVis_s,q。

3.如权利要求2所述的一种基于编解码器的跨模态红外偏振人脸识别方法，其特征在于，所述步骤S2中，构造编解码器网络相似度损失函数的方法为：

其中，reshape表示将特征拉直为一维向量，cos_similar表示计算余弦相似度：

a、b分别是公式(1)中reshape后的一维向量reshape(idF_p)和reshape(idF_s)；

构造编解码器网络重构损失函数的方法为：

Loss_{reconstruction}＝||VPolar_p,t-Polar_p,t||₂+||PVis_s,q-Vis_s,q||₂ (3)，

网络最终的损失函数Loss＝Loss_similar+Loss_{reconstruction}。

4.如权利要求3所述的一种基于编解码器的跨模态红外偏振人脸识别方法，其特征在于，所述步骤S3中，待识别红外偏振人脸图像识别的方法为：

将待识别红外偏振人脸图像Polar输入经过步骤S1和步骤S2训练好的编码器Encoder中得到身份特征idF_x，将可见光数据库中的人脸图像逐一送入编码器Encoder中得到身份特征{idF₁,idF₂...idF_n}，计算待识别红外偏振人脸身份特征与可见光人脸数据库身份特征的人脸相似度{score₁,score₂...score_n}，选取最大匹配值的人脸身份进行匹配。