[发明专利]一种基于注意力机制的描述子不变性选择方法和系统

说明书

一种基于注意力机制的描述子不变性选择方法和系统，包括如下步骤：预备数据序列，将图像输入多尺度特征提取模块，生成四种各异不变性的局部特征描述子；将上述局部特征描述子送入并行自注意力模块提取出四种各异不变性的元描述子；计算一对关键点的四种各异不变性元描述子的相似度，并将其经过softmax函数作为每种局部描述子的权值系数；最后加权计算出关键点最终的局部描述子距离，完成对局部描述子不变性选择的过程。

技术领域

本发明属于计算机视觉领域，特别是一种基于注意力机制的描述子不变性选择方法和系统。

背景技术

局部特征检测和描述(Local feature detectors and descriptors)是计算机视觉中的一个基本问题，在视觉定位、三维重建、机器人、虚拟现实与增强现实领域获得了广泛关注。给定两幅图像，经典方法通常是采用一个两阶段流水线：首先从每个图像中检测关键点(兴趣点)，然后从关键点周围提取对应的局部描述子，用于下游的定位任务等。

在现实世界中往往会存在着光照、旋转、尺度等外界因素的巨大变化，这会极大限制局部描述子的性能，使下游任务的精度受到严重影响。因此，近些年来出现的局部描述子方法通常是尽可能具备更多的不变性，如：光照不变性、旋转不变性、尺度不变性等。

然而，越多的不变性虽然会让局部描述子更鲁棒，但也会让局部描述子可提供的信息量更少，即在外界因素变化不剧烈的场景下，会限制定位精度的提高。为了在鲁棒性与准确性之间做一个权衡，近期就出现了一些局部描述子不变性选择的方法。但是，这些方法缺少对场景全局信息的捕捉与感知，因此在不变性选择时，往往无法获得合适的不变性。

发明内容

本发明要解决的是现有方法中，未能有效地为局部描述子选择合适的不变性的技术问题。

本发明所采用的技术方案是：一种基于注意力机制的描述子不变性选择方法，包括以下步骤：

S1，输入预备图像序列，从中随机抽取图像I^a，通过透视变换生成不变图像Iⁱ、变换图像I^v；

S2，将图像I^a、不变图像Iⁱ和变换图像I^v输入多尺度特征提取模块，生成训练局部描述子，将得到的训练局部描述子输入并行自注意力模块得到训练元描述子；

S3，利用图像I^a、不变图像Iⁱ和变换图像I^v构建三元组损失函数，通过三元组损失函数计算S2中训练局部描述子间的度量学习损失A以及S3中训练元描述子间的度量学习损失B，度量学习损失A和B相加后得到总损失函数；

S4，重复S1至S3，直到总损失函数收敛，得到训练网络；

S5，将待预测的图像序列输入训练网络中，得出待预测局部描述子和待预测元描述子；

S6，从待预测的序列中，挑出两张图像I^q、I^k，利用双方的元描述子对局部描述子进行不变性的选择，得到权值；

S7，计算S7中两图像的待预测局部描述子的L2距离，并以S7中的权值作为系数，加权获得描述符距离，完成对局部描述子不变性选择的过程。

进一步的，所述S1中，需先将图像大小缩放，然后进行图像增强。最后，还需利用关键点提取算法对每一张图片提取出关键点。

进一步的，所述多尺度特征提取模块包括特征金字塔模块和四头模块，通过特征金字塔模块提取多尺度特征，再经过四头模块，得到四个训练局部描述子，每个描述子都对应一种不变性的组合。