[发明专利]跨模态的人脸识别方法、装置、电子设备及可读介质

说明书

本公开实施例提供一种跨模态的人脸识别方法、装置、电子设备及可读介质，该方法包括：获得初始模态人脸训练图像；利用所述初始模态人脸训练图像训练获得模态转换模型，所述模态转换模型包括生成器以及与每个生成器对应的多重判别器；获取初始模态的待识别图像；利用所述模态转换模型对所述初始模态的待识别图像进行处理，获得目标模态的目标待识别图像；对所述目标待识别图像进行识别，获得与所述待识别图像匹配的目标模态的目标匹配人脸图像。本公开实施例提供的跨模态的人脸识别方法、装置、电子设备及可读介质，能够提升跨模态的人脸识别的精度。

技术领域

本公开涉及图像处理技术领域，尤其涉及一种跨模态的人脸识别方法、装置、电子设备及计算机可读介质。

背景技术

基于素描人脸图像进行识别面临着两大难题：其一是两种风格的人脸图像属于两种不同的模态，故二者的特征分布存在很大的鸿沟，映射的难度也会随之大大增加。其二是目前开源的素描人脸数据集十分匮乏，这对于特征提取与模型的学习十分不利。这些困难性与特殊性为素描人脸识别技术的发展带来了一定的阻碍与挑战。故和光学人脸的识别相比，基于素描的人脸识别难度更大。

目前基于素描的人脸识别技术可归纳为三种，分别是特征法、子空间映射法以及合成转化法。但现存素描人脸识别方法中存在很多问题，如：

(1)将光学人脸识别技术“生搬硬套”到素描导致效果不佳。

(2)面对风格迥异素描人脸肖像数据集，模型的泛化能力差。

(3)刑侦场景无法肉眼很难直观评价素描与真实人脸的相似性，模型结果说服力弱。

(4)提取人脸特征常使用降维操作，极可能会造成有限的样本图像局部信息的丢失。

(5)要求成对照片与素描数据集，针对大规模数据库的成本过高，可操作性不强。

因此，需要一种新的跨模态的人脸识别方法、装置、电子设备及计算机可读介质。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本公开实施例提供一种跨模态的人脸识别方法、装置、电子设备及计算机可读介质，能够提升跨模态的人脸识别的精度。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的第一方面，提出一种跨模态的人脸识别方法，该方法包括：获得初始模态人脸训练图像；利用初始模态人脸训练图像训练获得模态转换模型，模态转换模型包括生成器以及与每个生成器对应的多重判别器；获取初始模态的待识别图像；利用模态转换模型对初始模态的待识别图像进行处理，获得目标模态的目标待识别图像；对目标待识别图像进行识别，获得与待识别图像匹配的目标模态的目标匹配人脸图像。