[发明专利]跨光谱图像匹配方法及装置、电子设备和存储介质

说明书

本公开涉及一种跨光谱图像匹配方法及装置、电子设备和存储介质。所述方法包括：将光谱不同的两个待匹配图像输入对抗学习模型进行处理，生成与对方光谱相同的两个转换图像；将同光谱的待匹配图像和转换图像组合，得到图像对；将所述图像对输入视差检测模型进行处理，得到各所述待匹配图像的视差，根据各所述待匹配图像的视差进行所述两个待匹配图像之间的匹配。本公开实施例中，对抗学习模型可以将跨光谱的图像转换为同光谱的图像，可以减少跨光谱的图像之间的差异，可以提高视差检测模型的视差检测准确率。

技术领域

本公开涉及图像处理技术领域，尤其涉及一种跨光谱图像匹配方法及装置、电子设备和存储介质。

背景技术

随着多摄像头多光谱系统的广泛应用，利用跨光谱图像进行人脸识别等需求越来越多。传统的跨光谱双目匹配方法通常使用语义分割和人为干预来寻找两个光谱的图像间的一致性。传统方法受制于语义分割模块无法与视差估计模块一起训练，无法进行全局优化，且需要额外的语义分割数据，导致无监督跨光谱双目匹配得到的视差准确率低、运行效率低。

发明内容

本公开提出了一种跨光谱图像匹配技术方案。

根据本公开的一方面，提供了一种跨光谱图像匹配方法，包括：

将光谱不同的两个待匹配图像输入对抗学习模型进行处理，生成与对方光谱相同的两个转换图像；

将同光谱的待匹配图像和转换图像组合，得到图像对；

将所述图像对输入视差检测模型进行处理，得到各所述待匹配图像的视差，根据各所述待匹配图像的视差进行所述两个待匹配图像之间的匹配。

在一种可能的实现方式中，所述对抗学习模型包括图像生成子模型，图像生成子模型包括特征空间子模块、第一转换子模块和第二转换子模块，所述将光谱不同的两个待匹配图像输入对抗学习模型进行处理，生成与对方光谱相同的两个转换图像，包括：

将第一待匹配图像和第二待匹配图像输入所述特征空间子模块，得到所述第一待匹配图像的第一特征和所述第二待匹配图像的第二特征，所述第一待匹配图像和所述第二待匹配图像的光谱不同；

将所述第一特征输入所述第一转换子模块，得到所述第一待匹配图像的第一转换图像，将所述第二特征输入所述第二转换子模块，得到所述第二待匹配图像的第二转换图像，所述第一转换图像与所述第二待匹配图像的光谱相同，所述第二转换图像与所述第一待匹配图像的光谱相同。

在一种可能的实现方式中，所述对抗学习模型还包括分类子模型，所述对抗学习模型和所述视差检测模型的训练过程包括：

将样本图像输入所述图像生成子模型得到第一输出结果，将所述样本图像和所述第一输出结果输入所述分类子模型得到第二输出结果，根据所述第二输出结果和所述样本图像完成所述分类子模型的训练；

将所述样本图像输入图像生成子模型得到第三输出结果，将所述第三输出结果输入完成训练的所述分类子模型得到第四输出结果，根据所述第四输出结果完成所述图像生成子模型的第一次训练；

将所述样本图像输入完成第一次训练的所述图像生成子模型得到第五输出结果，将所述样本图像和所述第五输出结果输入所述视差检测模型得到第六输出结果，根据所述第六输出结果和所述样本图像完成所述视差检测模型的训练；

将所述样本图像输入完成第一次训练的所述图像生成子模型得到第七输出结果，将所述样本图像和所述第七输出结果输入完成训练的所述视差检测模型得到第八输出结果，根据所述第八输出结果和所述样本图像完成所述图像生成子模型的第二次训练。

在一种可能的实现方式中，所述图像生成子模型的第一次训练过程包括：