[发明专利]一种基于自注意力机制的跨尺度图像匹配方法及系统

权利要求书

1.一种基于自注意力机制的跨尺度图像匹配方法，其特征在于，所述方法包括：

获取全局场景图像和多个局部细节图像；

使用基于自注意力机制的深度学习模型对所述局部细节图像进行多尺度特征提取得到特征图并获取关键点，以及对所述全局场景图像进行多尺度特征提取得到特征图；

将全局场景图像特征图的所有特征点与局部细节图像的关键点进行特征互相关匹配，计算相关性；

根据计算的相关性结果，确定局部细节图像关键点在全局场景图像特征图中的匹配点，并根据匹配关系推导出单应矩阵。

2.根据权利要求1所述的一种基于自注意力机制的跨尺度图像匹配方法，其特征在于，获取全局场景图像和多个局部细节图像，具体包括：

通过全局相机获取全局场景图像，通过多个局部相机分别获取多个局部细节图像，所述全局相机的水平视场角为50°～60°，所述局部相机的水平视场角10°～15°。

3.根据权利要求1所述的一种基于自注意力机制的跨尺度图像匹配方法，其特征在于，所述基于自注意力机制的深度学习模型采用U型网络结构，具体用于，首先通过转移窗口注意力机制模块Swin-Transfomer Block以及块扩展模块Patch Expanding上采样到与输入图像维度相同的第一特征图；然后进一步结合转移窗口注意力机制模块、块融合模块PatchMerge以及块扩展模块Patch Expanding，得到更加深层次的第二特征图。

4.根据权利要求3所述的一种基于自注意力机制的跨尺度图像匹配方法，其特征在于，所述方法还包括：

将得到的局部细节图像的第一特征图和第二特征图结合利用全连接网络获取局部细节图像的关键点。

5.根据权利要求4所述的一种基于自注意力机制的跨尺度图像匹配方法，其特征在于，将全局场景图像特征图的所有特征点与局部细节图像的关键点进行特征互相关匹配，计算相关性，具体包括：

相关性计算公式如下：

其中，(X_L，Y_L)为局部细节图像的关键点位置坐标，(X_G，Y_G)为全局场景图像的特征点位置坐标，F_L1为局部细节图像的第一特征图，F_L2为局部细节图像的第二特征图，F_G1为全局场景图像的第一特征图，F_G2为全局场景图像的第二特征图，ω₁、ω₂为权重系数。

6.一种基于自注意力机制的跨尺度图像匹配系统，其特征在于，所述系统包括：

图像采集模块，用于获取全局场景图像和多个局部细节图像；

特征提取模块，用于使用基于自注意力机制的深度学习模型对所述局部细节图像进行多尺度特征提取得到特征图并获取关键点，以及对所述全局场景图像进行多尺度特征提取得到特征图；

相关性计算模块，用于将全局场景图像特征图的所有特征点与局部细节图像的关键点进行特征互相关匹配，计算相关性；

匹配模块，用于根据计算的相关性结果，确定局部细节图像关键点在全局场景图像特征图中的匹配点，并根据匹配关系推导出单应矩阵。

7.根据权利要求6所述的一种基于自注意力机制的跨尺度图像匹配系统，其特征在于，所述图像采集模块，具体用于：

通过全局相机获取全局场景图像，通过多个局部相机分别获取多个局部细节图像，所述全局相机的水平视场角为50°～60°，所述局部相机的水平视场角10°～15°。

8.一种计算机存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种基于自注意力机制的跨尺度图像匹配系统执行如权利要求1-5中任一项所述的方法。