[发明专利]一种基于聚合特征差异学习网络的异源图像匹配方法

权利要求书

1.一种基于聚合特征差异学习网络的异源图像匹配方法，其特征在于，包括以下步骤：

S1、使用异源可见光-近红外VIS-NIR数据集，将Country子集作为训练样本集，Field、Forest、Indoor、Mountain、Oldbuilding、Street、Urban和Water子集作为测试样本集；

S2、数据预处理；

S3、设计聚合特征差异学习网络结构，包含双分支特征提取网络，特征差异聚合网络，两个度量网络M₁和M₂，具体为：

S301、利用双分支特征提取网络提取两个图像块的特征，得到两个图像块的特征集合F；

S302、利用特征差异聚合网络聚合多级特征差异，得到聚合特征差异AD，将特征集合F中同一级的特征做差并取绝对值，得到特征差异集合D为：

D＝{D_i,i＝1,2,...L}

其中，D_i＝|f_i¹-f_i²|；将前一级的特征差异D_i-1通过卷积模块，然后和下一级的特征差异D_i在通道维级联，从高级到低级聚合不同数量的特征差异；聚合两级，三级和聚合所有的特征差异为：

其中，表示聚合网络中的第l个卷积块，表示通道维级联操作；

S303、利用两个度量网络M₁和M₂分别预测图像块对的匹配标签y₁和y₂；

S4、训练聚合特征差异学习网络，基于两个度量网络的输出y₁和y₂分别计算两个大间隔余弦损失函数LMCL₁和LMCL₂，得到网络最终损失函数Loss＝LMCL₁+LMCL₂，联合优化整个网络，基于第一个度量网络M₁输出的匹配标签y₁计算大间隔余弦损失函数LMCL₁为：

其中，N表示训练样本的数量，表示第一个度量网络M₁对于第i个训练样本预测的匹配标签是正确的后验概率，h_i表示经过L₂范数归一化之后的第i个训练样本在网络最后一个全连接层的输入，W_j表示经过L₂范数归一化之后的最后一个全连接层第j+1列的权重参数，θ_j,i表示W_j和h_i之间的角度，s表示尺度因子，m表示余弦间隔；

基于第二个度量网络M₂输出的匹配标签y₂计算大间隔余弦损失函数LMCL₂为：

其中，表示第一个度量网络M₂对于第i个训练样本预测的匹配标签是正确的后验概率；

S5、将测试样本集输入到聚合特征差异学习网络中，以度量网络M₂输出的匹配标签y₂作为最终的预测标签。

2.根据权利要求1所述的基于聚合特征差异学习网络的异源图像匹配方法，其特征在于，步骤S1中，每个子集的匹配样本和不匹配样本数量相等。

3.根据权利要求1所述的基于聚合特征差异学习网络的异源图像匹配方法，其特征在于，步骤S2中，将可见光图像转换为灰度图像，然后将数据集中图像块的像素值归一化至0～1，并对训练样本集进行增强，包括随机翻转和旋转。