[发明专利]一种基于自注意力机制的跨尺度图像匹配方法及系统

说明书

本发明公开了一种基于自注意力机制的跨尺度图像匹配方法及系统，所述方法包括：获取全局场景图像和多个局部细节图像；使用基于自注意力机制的深度学习模型对所述局部细节图像进行多尺度特征提取得到特征图并获取关键点，以及对所述全局场景图像进行多尺度特征提取得到特征图；将全局场景图像特征图的所有特征点与局部细节图像的关键点进行特征互相关匹配，计算相关性；根据计算的相关性结果，确定局部细节图像关键点在全局场景图像特征图中的匹配点，并根据匹配关系推导出单应矩阵。采用基于自注意力机制的跨尺度的图像匹配算法，可实现智能化的检测局部图像相对于全局图像的位置以及转换矩阵。

技术领域

本发明涉及深度学习技术领域，具体涉及一种基于自注意力机制的跨尺度图像匹配方法及系统。

背景技术

根据技术调研，由于相机镜头以及传感器等硬件的限制，基于单个相机难以获取全景的高分辨率的大场景图像。现有的大场景的重建，大多利用多尺度的相机，通过图像融合的方式，进行大场景高分辨率重建，从而实现对大场景的动态感知。然而在图像融合过程中，首先需要对局部细节图像在全局相机中进行定位，传统的方式往往是通过固定全局相机以及局部相机的相对位置，从而保证局部细节图像在全局图像的位置保持不变，然而在实际应用过程中，我们往往需要不断改变局部相机的位置，从而更好的重建出大场景的高分辨率图像，与此同时，由于设备的制作安装以及使用过程中很容易造成局部相机与全局相机位置的变化，这种情况下往往需要人工进行重新标定，无疑增加的工作量。

发明内容

为此，本发明提供一种基于自注意力机制的跨尺度图像匹配方法及系统，以解决现有技术中需要人工对局部图像在全局图像中的相对位置进行多次标定，工作量大的问题。

为了实现上述目的，本发明提供如下技术方案：

根据本发明实施例的第一方面，提出了一种基于自注意力机制的跨尺度图像匹配方法，所述方法包括：

获取全局场景图像和多个局部细节图像；

使用基于自注意力机制的深度学习模型对所述局部细节图像进行多尺度特征提取得到特征图并获取关键点，以及对所述全局场景图像进行多尺度特征提取得到特征图；

将全局场景图像特征图的所有特征点与局部细节图像的关键点进行特征互相关匹配，计算相关性；

根据计算的相关性结果，确定局部细节图像关键点在全局场景图像特征图中的匹配点，并根据匹配关系推导出单应矩阵。

进一步地，获取全局场景图像和多个局部细节图像，具体包括：

通过全局相机获取全局场景图像，通过多个局部相机分别获取多个局部细节图像，所述全局相机的水平视场角为50°～60°，所述局部相机的水平视场角10°～15°。

进一步地，所述基于自注意力机制的深度学习模型采用U型网络结构，具体用于，首先通过转移窗口注意力机制模块Swin-Transfomer Block以及块扩展模块PatchExpanding上采样到与输入图像维度相同的第一特征图；然后进一步结合转移窗口注意力机制模块、块融合模块PatchMerge以及块扩展模块PatchExpanding，得到更加深层次的第二特征图。

进一步地，所述方法还包括：

将得到的局部细节图像的第一特征图和第二特征图结合利用全连接网络获取局部细节图像的关键点。

进一步地，将全局场景图像特征图的所有特征点与局部细节图像的关键点进行特征互相关匹配，计算相关性，具体包括：

相关性计算公式如下：