[发明专利]基于双变换网络的深度学习SAR图像配准方法

说明书

本发明公开一种基于双变换网络的深度学习SAR图像配准算法，主要解决现有深度学习的SAR配准方法获取匹配的图像对困难，匹配精度低，人工标注数据集成本过高及类别不平衡的问题。其实现方案为：1)生成训练和测试数据集。2)设置深度图像分类网络的分类头类别数目，构建双变换网络的两个分支；3)训练双变换网络的两个分支，并利用训练好的双变换网络进行初步匹配，4)在初步匹配的基础上进行精细匹配；5)取两条支路共同认可的点对，并根据精细匹配的结果更新点对，获得最终匹配结果。本发明获取图像对简单且无需人工标注，数据集类别平衡，匹配精度高，可用于地质矿物资源检测及数字地形模型提取。

技术领域

本发明属于图像处理技术领域，更进一步涉及一种SAR图像配准方法，可用于地质矿物资源检测及数字地形模型提取。

背景技术

SAR图像配准主要是处理同一场景却在不同条件下捕获的两幅或多幅SAR图像，通过探索图像之间的对应关系来找到最适合的变换模型，从而利用变换模型变换不同时间不同物理环境状态下获取的SAR图像，将它们变换到同一坐标系下的过程。在不同的成像条件下，SAR图像会在空间位置，成像模式等许多方面存在一些差异，只有变换到同一个参考系下才能方便处理。因此，SAR图像配准技术是SAR图像目标检测，图像融合，特征提取的重要技术前提。

学者Zitova等人曾于2003年发表了论文，针对配准方法做了概括，将图像配准技术主要分为四步来实现，即特征提取，特征匹配，估计变换模型，变换图像。从大的方面来讲，图像配准分为两种，其一是传统的配准方法，比如基于灰度的图像配准方法，如low等人于2004年提出的SIFT方法。另一类则是基于深度学习的图像配准方法，此方法利用深度神经网络提取特征以获得匹配点对信息。例如学者Han等人提出了孪生网络，该网络通过两个完全相同的卷积神经网络来提取特征，从而得到图像块的匹配关系。该基于深度学习的SAR图像配准方法是近些年来最为通用的图像配准方法。

西安电子科技大学在其申请号为：201910943154.7的专利申请文献中公开了一种“基于深度学习的SAR图像精细配准方法”，其实现步骤是：首先获取多幅从不同视角观测到的同一场景SAR图像，由这些图像组成数据集；再构建用于SAR图像精细配准的神经网络模型，模型由用于校正SAR图像间的整体形变的子卷积神经网络和用于校正SAR图像间局部形变的子残差神经网络依次组成；最后构造用于SAR图像精细配准的神经网络的损失函数Loss；接着利用构造好的数据集对网络进行训练，得到训练好的网络模型；最后直接输入作为参考的SAR图像和待配准SAR图像，网络会输出配准好的图像。此方法所构建的网络能够校正SAR图像间的整体形变和局部畸变，从而可以提高配准性能。但该方法存在的不足之处在于：其直接随机从构造的数据集中选取样本进行训练，而高质量SAR图像的获取，成本较高，因此这样会导致数据集获取成本的增加，另外该方法的计算成本较大。

Shasha Mao等人在遥感领域国际顶级期刊Remote Sensing上发表的论文《Multi-Scale Fused SAR Image Registration Based on Deep Forest》中提出了一种基于深度学习进行遥感图像配准的框架，其利用深度森林对多尺度的样本进行训练，提取更为有效的特征信息，通过深度森林进行二分类区分匹配点对和不匹配点对，从而得到最终的结果。该方法的存在三方面的不足：一是由于在构建样本对的时候过于依赖匹配的样本对，将导致构造样本对成本增加；二是由于分类的结果中仍然包含有噪声点，必须利用归一化互相关法NCC滤波掉噪声点,三是由于构建训练样本集合的过程冗长，需要的训练时间也比较长，降低了图像配准任务的效率。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于双变换网络的深度学习SAR图像配准方法，以提高SAR图像配准任务效率，降低获取匹配样本对的成本，提升配准的精度，实现亚像素级别的精确配准。