[发明专利]一种基于注意力机制的描述子不变性选择方法和系统

权利要求书

1.一种基于注意力机制的描述子不变性选择方法和系统，其特征在于，包括以下步骤：

S1，输入预备图像序列，从中随机抽取图像I^a，通过透视变换生成不变图像Iⁱ、变换图像I^v；

S2，将图像I^a、不变图像Iⁱ和变换图像I^v输入多尺度特征提取模块，生成训练局部描述子，将得到的训练局部描述子输入并行自注意力模块得到训练元描述子；

S3，利用图像I^a、不变图像Iⁱ和变换图像I^v构建三元组损失函数，通过三元组损失函数计算S2中训练局部描述子间的度量学习损失A以及S3中训练元描述子间的度量学习损失B，度量学习损失A和B相加后得到总损失函数；

S4，重复S1至S3，直到总损失函数收敛，得到训练网络；

S5，将待预测的图像序列输入训练网络中，得出待预测局部描述子和待预测元描述子；

S6，从待预测的序列中，挑出两张图像I^q、I^k，利用双方的元描述子对局部描述子进行不变性的选择，得到权值；

S7，计算S6中两图像的待预测局部描述子的L2距离，并以S6中的权值作为系数，加权获得描述符距离，完成对局部描述子的不变性选择。

2.根据权利要求1所述的基于注意力机制的描述子不变性选择方法和系统，其特征在于，所述S1中，先将预备图像缩放，然后进行图像增强，再利用关键点提取算法对图片提取关键点。

3.根据权利要求1所述的基于注意力机制的描述子不变性选择方法和系统，其特征在于，所述S2中，所述多尺度特征提取模块包括特征金字塔模块和四头模块，通过特征金字塔模块提取多尺度特征，再经过四头模块，得到四个训练局部描述子。

4.根据权利要求1所述的基于注意力机制的描述子不变性选择方法和系统，其特征在于，所述S2中，并行自注意力模块包括四路并行的自注意力层，每一路自注意力层都会产生具有特异不变性的训练元描述子。

5.根据权利要求1所述的基于注意力机制的描述子不变性选择方法和系统，其特征在于，所述S3中的总损失函数L计算公式为：

其中，为训练局部描述子度量损失函数，为训练元描述子度量损失函数；

所述的计算公式为：

其中，l为训练局部描述子，L是l的一个集合。为不变性描述子损失函数，为不具有不变性的描述子的损失函数，如果训练局部描述子对S1中的I^a与Iⁱ都具有不变性，则使用否则使用

所述的计算公式为：

其中，f是所述S1中图像I^a与图像Iⁱ的区别因子，M是边缘因子；

所述的计算公式为：

其中，为度量学习中常用的三元组边缘损失函数，l^a为图像I^a的局部描述子，lⁱ为图像Iⁱ的局部描述子；

所述的计算公式为：

其中，为度量学习中常用的三元组边缘损失函数，m^a为图像I^a的元描述子，mⁱ为图像Iⁱ的元描述子。

6.根据权利要求1所述的基于注意力机制的描述子不变性选择方法和系统，其特征在于，所述S7中计算描述符距离的具体公式为：

其中，为图像I^q的元描述子，为图像I^k的元描述子，为图像I^q的局部描述子，为图像I^k的局部描述子。

7.根据权利要求2所述的基于注意力机制的描述子不变性选择方法和系统，其特征在于，所述图像增强包括修改亮度、对比度和饱和度，单应性变换。