[发明专利]跨模态的人脸识别方法、装置、电子设备及可读介质

权利要求书

1.一种跨模态的人脸识别方法，其特征在于，包括：

获得初始模态人脸训练图像；

利用所述初始模态人脸训练图像训练获得模态转换模型，所述模态转换模型包括生成器以及与每个生成器对应的多重判别器；

获取初始模态的待识别图像；

利用所述模态转换模型对所述初始模态的待识别图像进行处理，获得目标模态的目标待识别图像；

对所述目标待识别图像进行识别，获得与所述待识别图像匹配的目标模态的目标匹配人脸图像。

2.如权利要求1所述的方法，其特征在于，所述模态转换模型的所述生成器包括正向生成器和反向生成器，与所述正向生成器对应的多重判别器包括n个正向判别器，与所述反向生成器对应的多重判别器包括m个反向判别器，n、m均为大于或等于2的整数；其中，利用所述初始模态人脸训练图像训练获得模态转换模型包括：

通过所述正向生成器对所述初始模态人脸训练图像进行处理，获得所述正向生成器的第w_k层输出的第k个目标模态人脸预测图像，k为大于0且小于等于n的整数，w_k为大于0的整数；

通过所述反向生成器对第n个所述目标模态人脸预测图像进行处理，获得所述反向生成器的第u_q层输出的第q个初始模态人脸训练图像，q为大于0且小于等于m的整数，u_q为大于0的整数；

获取目标模态人脸数据集，所述目标模态人脸数据集包括目标模态人脸训练图像；

利用第k个正向判别器对所述第k个目标模态人脸预测图像和所述目标模态人脸训练图像进行处理，获得第k个正向判别结果；

利用第q个反向判别器对所述第q个初始模态人脸训练图像和所述初始模态人脸训练图像进行处理，获得第q个反向判别结果；

根据n个所述正向判别结果和m个所述反向判别结果生成目标损失函数；

根据所述目标损失函数调节所述模态转换模型的参数，获得训练完成的所述模态转换模型。

3.如权利要求2所述的方法，其特征在于，根据n个所述正向判别结果和m个所述反向判别结果生成目标损失函数包括：

根据第k个所述正向判别结果生成第k个正向损失；

根据第q个所述反向判别结果生成第q个反向损失；

利用正向感知损失网络对所述初始模态人脸训练图像进行处理，获得正向感知损失；

利用反向感知损失网络对所述目标模态人脸训练图像进行处理，获得反向感知损失；

根据n个所述正向损失、m个所述反向损失、所述正向感知损失和所述反向感知损失的加权计算结果生成所述目标损失函数。

4.如权利要求3所述的方法，其特征在于，所述正向损失包括对抗生成网络损失和循环一致损失；其中，根据所述第k个正向判别结果生成第k个正向损失包括：

根据所述第k个正向判别结果获得第k个对抗生成网络损失；

根据所述初始模态人脸训练图像和所述初始模态人脸训练图像生成第k个循环一致损失；

对所述第k个所述对抗生成网络损失、第k个所述循环一致损失和所述感知损失进行加权求和，获得第k个所述正向损失。

5.如权利要求3所述的方法，其特征在于，所述正向感知损失网络包括依次连接的P个感知层和全连接层，每个感知层包括依次连接的卷积层和池化层，P为大于0的整数；其中，利用正向感知损失网络对所述初始模态人脸训练图像进行处理，获得正向感知损失包括：

根据所述正向感知损失网络的第p_r个感知层获得第r个感知循环一致子损失，0＜p_r≤P，0＜r≤R，R大于0的整数；

对第1个至第R个所述感知循环一致子损失进行加权计算，获得所述正向感知损失。

6.如权利要求1所述的方法，其特征在于，获得初始模态人脸训练图像包括：

获取第一数量的初始模态人脸真实图像；

通过生成对抗网络模型对所述第一数量的初始模态人脸真实图像进行处理，获得第二数量的初始模态人脸补充图像；

将所述第一数量的初始模态人脸真实图像和所述第二数量的初始模态人脸补充图像整合获得所述初始模态人脸训练图像。