[发明专利]一种基于全局-局部一致性网络的图像特征匹配方法

权利要求书

1.一种基于全局-局部一致性网络的图像特征匹配方法，其特征在于，包括以下步骤：

步骤1，利用特征点提取算法获得图像之间的假定匹配点集；

步骤2，对生成的假定匹配点集，计算点集之间的向量长度和角度，并生成一个三维的运动向量分布图D；

步骤3，基于全局一致性原理对步骤2中的运动向量分布图进行粗分类，不仅要剔除冗余点，同时剔除和冗余点黏连的内点，得到纯净的内点集；

步骤4，利用步骤3中获得的内点集作为假定匹配点集的邻域，为每个特征点构建邻域图G；

步骤5，基于局部领域一致性原理对步骤4中的邻域图进行特征点相似度评估；

步骤6，利用步骤5中得到的特征点的相似值分布，获得优化后的对应关系。

2.根据权利要求1所述的一种基于全局-局部一致性网络的图像特征匹配方法，其特征在于：步骤1中，考虑一个图像对，参考图像和感知图像，采用现有的特征检测和描述算法SIFT和最近邻匹配NNDR来获得假定匹配点集。

3.根据权利要求1所述的基于全局-局部一致性网络的图像特征匹配方法，其特征在于：步骤2中利用图像之间的全局变换连续性和一致性获得三维运动向量分布图。

4.根据权利要求3所述的基于全局-局部一致性网络的图像特征匹配方法，其特征在于：步骤2中生成三维运动向量分布图包括以下步骤：包括以下步骤：对于n对假定对应点集其中分别表示两个对应特征点的坐标，我们让表示点对之间运动向量的角度，其中为点集S的范围，max(·)和min(·)分别表示集合中的最大值和最小值，同时表示点对之间运动向量的长度。随后，我们可以将假定匹配点集转换为一个带有噪声的三维的运动向量分布图D＝{(θ,l,p)}，其中p＝{1,2,...,n}。

5.根据权利要求1所述的基于全局-局部一致性网络的图像特征匹配方法，其特征在于：步骤3中，利用全局变换一致性模块对步骤2中的运动向量分布图进行粗分类，得到纯净的内点集；全局变换一致性模块具体细节如下，

对步骤2中获得的三维的运动向量分布图D中的每个点D_i，利用KNN来搜寻每个点的k个最近邻得到有向图代表每个点的局部拓扑结构；接下来，使用一个共享的多层感知机MLP来编码图特征f，并且对每个顶点的图特征进行聚合操作，得到

其中，为过滤器的权重，由MLP训练得到，M表示过滤器的个数，m取1—M；ReLU为激活函数，整个MLP共有5个卷积层，在每一层输出的特征空间中重新计算最近邻来更新有向图g，g为g_i的集合，使得感受野和的运动向量分布图D的直径一样大。

6.根据权利要求1所述的基于全局-局部一致性网络的图像特征匹配方法，其特征在于：步骤4中的具体实现方式如下：

对于假定匹配点集Z，首先对Z的空间坐标进行归一化处理，得到归一化之后的点集Z’：

随后，利用步骤3中得到的内点集为Z’寻找k个最近邻，最后特征点的邻域图表示为：

其中，t为Z’邻点。

7.根据权利要求1所述的基于全局-局部一致性网络的图像特征匹配方法，其特征在于：步骤5中，利用局部邻域一致性模块对步骤4中的邻域图G进行相似度评估，局部邻域一致性模块包含一个编码器模块对邻域图进行编码，得到特征点的邻域表征：

Γ_i＝Encoder(G_i)

其中，i为特征点的序号，随后，利用注意力机制中的自注意力和交叉注意力对邻域表征进行相似度评估：

其中，在自注意力机制情况下，Q_i,K_i,V_i的值都为在交叉注意力机制情况下，Q_i为K_i,V_i的值为表示尺度因子；自注意力机制和交叉注意力机制分别迭代计算L次，计算两个特征点表征的欧式距离：

最后选取k条边中的最小距离作为相似值：

8.根据权利要求1所述的基于全局-局部一致性网络的图像特征匹配方法，其特征在于：步骤6的具体实现方式为：利用步骤1-5评估假定匹配点集的相似度，随后根据相似值的分布情况，剔除相似度低的点集，获得最后的正确的匹配点集。