[发明专利]遥感影像特征匹配方法、装置、存储介质及计算机设备

说明书

本发明提供了一种遥感影像特征匹配方法及相关装置，匹配方法包括采集双时相遥感影像，分别提取双时相遥感影像中的特征点信息，将特征点信息输入到图神经网络结构中，经过自我注意力以及交叉注意力若干交替更新，得到最终用于匹配的匹配描述向量，采用内积运算计算匹配矩阵，计算最优匹配结果P实现特征点匹配过程；采用负对数似然函数作为损失函数，进行特征匹配训练。与NN策略的匹配方法相比，匹配性能提高30％左右。

技术领域

本发明涉及遥感领域，特别地，涉及遥感影像三维建模领域。

背景技术

精细的三维模型兼具影像产品表达信息直观、形象的特性以及地形图的三维可量测等特点，被广泛应用于智慧城市、实景导航、古建文物保护、军事应用等多个领域。同时三维模型是实景中国建设的重要内容。传统的特征匹配分为五个过程，提取特征点，计算描述子，最近邻匹配，滤除外点以及求解几何约束等，但这些匹配算法很大程度上依赖于NN策略，在做匹配时并没有考虑特征的结构相似性以及外观相似性等。

为此急需一种能够解决上述技术问题的满足大规模三维建模的应用需求的遥感影像特征匹配的技术方案。

发明内容

为此，发明了一种基于图神经网络的遥感影像特征匹配方法，该方法中图神经网络能够在两个图或多个图之间建立节点与节点之间的对应关系，因此将其用于求解两个图像之间，关键点到关键点的匹配关系。在图神经网络当中，将每幅图像中待匹配的关键点作为图的节点，节点与节点之间的连接包括图像内部节点之间的连接以及本图节点与另外一张图像节点之间的连接，前者称为自我注意力阶段，后者称为交叉注意力阶段，通过不断的交替更新，最终得到用于匹配的特征向量。这种方法能大幅提高匹配性能。

本发明实施例提供了一种遥感影像特征匹配方法，包括：

步骤一，选定卫星影像下的待采集区域，分别采集2个时相下该区域的卫星影像，得到双时相遥感影像；

步骤二，分别提取双时相遥感影像中的特征点(x,y)，每个特征点有对应的特征点提取置信度即特征点得分(score)以及特征点描述子(d)，其中时相1中的特征点集表示为M，时相2中的特征点集表示为N；

步骤三，对上述步骤二中提取到的M以及N的特征点集求并集得到MN，作为双时相影像特征点的真实值，求MN与N的差作为时相1中没有对应匹配点的点集I，求MN与M的差作为时相2中没有对应匹配点的点集J；

步骤四，将步骤二中提取的特征点坐标(x,y)，特征点得分(score)以及特征点描述子(d)进行编码融合生成新的特征x_i；

步骤五，将步骤四生成的特征x_i输入到图神经网络结构中，经过自我注意力以及交叉注意力若干交替更新L次后，得到最终用于匹配的匹配描述向量如下所示：

其中W表示图神经网络过程中的权重，b表示偏置向，M代表时相1中的特征点集，N代表时相2中的特征点集，i代表时相1中的任一特征点，j代表时相2中的任一特征点，代表时相1中的任一特征点经编码融合后产生的新的特征点，代表时相2中的任一特征点经编码融合后产生的新的特征，f_i^M表示时相1的影像经图神经网络后产生的匹配描述向量，f_j^N表示时相2的影像经图神经网络后产生的新的匹配描述向量，L代表自我注意力以及交叉注意力更新的层。

步骤六，根据步骤五输出的用于匹配的匹配描述向量，采用内积运算计算匹配矩阵S如下:

其中S_i，j表示两个时相中任一两个匹配点在匹配矩阵S中的具体值；

步骤七，采用Sinkhorn算法计算最优匹配结果P，实现特征点匹配过程；