[发明专利]一种基于卷积神经网络特征图的多模态遥感影像匹配方法

权利要求书

1.一种基于卷积神经网络特征图的多模态遥感影像匹配方法，其特征在于，包括如下步骤：

1)构建面向多模态遥感影像非线性灰度变化的影像相似性度量深度学习网络FSNet；

2)构建训练样本集对步骤1)中的深度学习网络进行训练，得到训练后的网络FSNet，并由训练好的FSNet网络的卷积模块构成特征提取网络CSNet；

3)对待匹配的多模态遥感影像中的参考影像和搜索影像进行降采样，并利用步骤2)中训练好的CSNet网络提取影像深度特征图；

4)基于步骤3)获取的降采样后参考影像的深度特征图和降采样后搜索影像的深度特征图估计原始参考影像和原始搜索影像之间的单应性变换模型H，并对原始搜索影像进行几何纠正，得到纠正后搜索影像

5)基于原始参考影像和纠正后的搜索影像生成待匹配特征对，并利用FSNet网络进行匹配判别，得到匹配集合MatchSetRS’；

6)利用步骤4)估计得到的原始参考影像与原始搜索影像之间的单应性变换模型H的逆变换H^-1，将步骤5)得到的匹配集合MatchSetRS’中的纠正后搜索影像上的点坐标反算回原始搜索影像得到原始参考影像与原始搜索影像的匹配结果。

在步骤1)中，FSNet由影像特征提取网络CSNet和相似性度量网络两个子网络构成；其中，CSNet网络的每个分支由5个卷积模块构成，两分支之间通过共享权重降低网络参数量；每个卷积模块采取了“Conv+BN+ReLU”构建策略；

采取“Conv+BN+ReLU”构建策略时，CSNet的5个卷积层的具体参数C(n,m,k)分别设置为：C(16,3,1)、C(32,5,1)、C(64,5,1)、C(64,5,1)、C(16,5,1)；其中n表示卷积层中卷积核的个数，m×m表示卷积核的尺寸，k表示卷积核进行卷积运算时的步长；

步骤2)包括如下具体步骤：

21)构建正样本集：分别从可见光-近红外、光学-SAR以及光学-LiDAR影像上制作训练样本；

22)构建负样本集，其中负样本集由普通负样本集和顾及样本距离的负样本集两部分构成；

23)构建完整样本集：通过步骤21)和步骤22)，对于M对正样本，将产生M对普通负样本和M对顾及样本距离的负样本；从所有M对普通负样本和M对顾及样本距离的负样本中各随机抽取M/2对，形成M对负样本，最终得到包含M对正样本和M对负样本的完整样本集；

24)利用步骤23)构建的样本集对步骤1)中所述的深度学习网络FSNet进行训练；

25)通过步骤24)训练得到FSNet以后，从中截取卷积模块得到特征提取网络CSNet；

步骤21)包括如下具体步骤：

211)可见光-近红外正样本：从多波段卫星影像的可见光波段影像与近红外波段影像上按对应像素自动裁取大小为97×97像素的影像块，获取可见光-近红外影像正样本；

212)光学-SAR及光学-LiDAR正样本：采用人工选取控制点的方式进行几何纠正；然后对已经经过几何纠正的光学-SAR及光学-LiDAR影像，采用基于相位一致性的影像特征匹配方法进行特征匹配，并利用RANSAC算法对特征匹配结果进行误匹配剔除，获取正确匹配点；再在影像上以正确匹配点为中心裁取大小为97×97像素的影像块，获得正样本；

步骤22)包括如下具体步骤：

221)普通负样本构建：假设正样本集PSSet如式(1)所示，样本集包含M对样本，每对样本由两个影像块构成：

那么，对于正样本集中任意一对样本中的一幅影像块将其作为普通负样本对中的一幅影像块随机从其他正样本对的配对影像中选择一幅影像块作为普通负样本对中的另一幅影像块形成一对普通负样本得到普通负样本集GNSSet如式(2)所示：

222)顾及样本距离的负样本构建：对于任意一对正样本对应的匹配点(p_i,q_i)，在搜索影像上距离同名点q_i为r像素的圆上，以竖直向上为起点，等间隔确定8个点，从这8个点中随机取一个点作为负样本点Nq_i，以该负样本点为中心裁取大小为97×97像素的影像块作为顾及样本距离的负样本对中的一幅影像块同时将参考影像上p_i点为中心的影像块作为顾及样本距离的负样本对中的另一幅影像块形成一对顾及样本距离的负样本对

对每对正样本对都进行步骤222)中的处理，得到如式(3)所示的顾及样本距离的负样本集DGNSSet如式(3)所示：