[发明专利]一种基于聚合特征差异学习网络的异源图像匹配方法

说明书

本发明公开了一种基于聚合特征差异学习网络的异源图像匹配方法，使用异源可见光‑近红外VIS‑NIR数据集，将Country子集作为训练样本集，Field、Forest、Indoor、Mountain、Oldbuilding、Street、Urban和Water子集作为测试样本集；数据预处理；设计聚合特征差异学习网络结构，包含双分支特征提取网络，特征差异聚合网络，两个度量网络；训练聚合特征差异学习网络，基于两个度量网络的输出分别计算两个大间隔余弦损失函数和，得到网络最终损失函数，联合优化整个网络；将测试样本集输入到聚合特征差异学习网络中，以度量网络输出的匹配标签作为最终的预测标签。本发明提高了学习效率和匹配精度，更可靠，鲁棒性更强，匹配精度更高。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于聚合特征差异学习网络的异源图像匹配方法。

背景技术

预测图像块之间的匹配关系在很多计算机视觉任务中是非常重要的，例如图像检索，行人重识别，图像重构，图像配准和目标检测与追踪等。异源图像之间信息互补，有助于进一步提高目标检测、识别和追踪的精度。例如，在光照条件较好的情况下，可见光图像可以捕获到非常丰富的细节纹理特征。但是，在光照条件不好的情况下，可见光图像的质量非常差。而近红外图像可以弥补可见光图像依赖光照条件的缺点，在光照条件较差的情况下，也可以获得清晰的图像。因此，异源图像的匹配非常重要。但是，由于异源图像成像机理不同，导致异源图像之间存在非常大差异，使得异源图像匹配具有很大的挑战性。

现有的图像匹配方法主要分为基于人工设计特征的匹配方法和基于深度学习的图像方法。人工设计特征主要是统计图像灰度或梯度信息，具有几何不变性和光照不变性，广泛应用于同源图像的匹配中。但是，由于异源图像之间差异较大，基于人工设计特征的匹配方法效果较差。随着深度学习的迅速发展，基于深度学习的匹配方法逐渐代替了基于人工设计特征的匹配方法。基于深度学习的匹配方法主要是利用深度卷积网络提取图像特征，根据特征之间的距离判断图像块的关系或将图像匹配问题转换为一个二分类问题，将输入的图像块对分为匹配和不匹配两大类。基于深度学习的匹配方法可以提取到图像的高级抽象特征，有效提高匹配的精度。但是，现有的基于深度学习的匹配方法都只利用图像的最高级特征，完全忽略了其他特征中包含的有用信息。相比高级特征，网络底层和中间层提取到的特征具有更多的细节、纹理信息，有助于进一步提高匹配的精度。

现有方法首先将图像块转换为向量，然后利用深度神经网络提取SAR图像的高级抽象特征，并预测图像块对的匹配标签，最后基于匹配的图像块对配准图像。不足之处是没有利用图像块中丰富的空间结构信息，影响图像匹配的效果和配准的精度。还有一种是首先检测图像中的显著区域，然后利用Zernike旋转不变矩描述显著区域形状特征，最后通过RANSAC求取初始变换参数，并利用边缘度优化变换参数。不足之处是，其一，只考虑了图像显著区域的特征，忽略了大部分的图像区域，影响了图像配准的精度。其二，没有考虑去除可见光-红外图像之间的差异性，使得异源图像块的匹配准确率较低。其三，利用Zernike旋转不变矩描述特征，人工设计特征的方法鲁棒性差，使得图像匹配和配准的效果不稳定，可靠性较差。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于聚合特征差异学习网络的异源图像匹配方法，取得了先进的匹配性能。

本发明采用以下技术方案：

一种基于聚合特征差异学习网络的异源图像匹配方法，包括以下步骤：

S1、使用异源可见光-近红外VIS-NIR数据集，将Country子集作为训练样本集，Field、Forest、Indoor、Mountain、Oldbuilding、Street、Urban和Water子集作为测试样本集；

S2、数据预处理；

S3、设计聚合特征差异学习网络结构，包含双分支特征提取网络，特征差异聚合网络，两个度量网络M₁和M₂；