[发明专利]以图搜图方法、装置、计算机程序产品和计算机程序

权利要求书

1.一种以图搜图方法，其特征在于，包括以下步骤：

获取待搜索图像；

获取历史图像集合中与所述待搜索图像相似度高的至少一第一相似图像，组成第一相似图像集合；

获取所述待搜索图像的局部图像，将所述局部图像和所述第一相似图像集合输入局部特征提取网络中提取每一所述第一相似图像的匹配特征关键点；

依据每一所述第一相似图像的所述匹配特征关键点的数量确定至少一第二相似图像。

2.根据权利要求1所述的以图搜图方法，其特征在于，“将所述局部图像和所述第一相似图像集合输入局部特征提取网络中提取每一所述第一相似图像的匹配特征关键点”包括：获取所述局部图像和所述第一相似图像的第一匹配点，依据所述第一匹配点的位置提取所述局部图像的局部图像区域特征图，依据所述第一匹配点的位置提取所述第一相似图像的相似图像区域特征图，获取所述局部图像区域特征图和所述相似图像区域特征图的匹配特征关键点。

3.根据权利要求2所述的以图搜图方法，其特征在于，“获取所述局部图像和所述第一相似图像的第一匹配点” 包括：提取所述局部图像的第一局部图像特征图向量，提取所述第一相似图像的第一相似图像特征图向量，将所述第一局部图像特征图向量和所述第一相似图像特征图向量输入自注意与交叉注意力模块中进行双重注意力权重加权，分别输出第二局部图像特征图向量和第二相似图像特征图向量，获取所述第二相似图像特征图向量和所述第二局部图像特征图向量匹配的得分矩阵，并基于所述得分矩阵获取所述第一匹配点。

4.根据权利要求3所述的以图搜图方法，其特征在于，所述自注意力与交叉注意力模块利用所述第一局部图像特征图向量和所述第一相似特征图向量之间的关系，并基于权重更新的方式更新所述第一相似图像特征图向量得到所述第二相似图像特征图向量，更新所述第一局部图像特征图向量得到所述第二局部图像特征图向量。

5.根据权利要求3所述的以图搜图方法，其特征在于，“获取所述局部图像区域特征图和所述相似图像区域特征图的匹配特征关键点”包括：将所述局部区域区域特征图对应的局部区域区域特征图向量和所述相似图像区域特征图对应的相似图像区域特征图向量输入自注意与交叉注意力模块中进行双重注意力权重加权，分别输出第三局部图像特征图向量和第三相似图像特征图向量，计算所述第三局部图像特征图向量和所述第三相似图像特征图向量的相关性，筛选相关性高的点作为所述匹配特征关键点。

6.根据权利要求5所述的以图搜图方法，其特征在于，“计算所述第三局部图像特征图向量和所述第三相似图像特征图向量的相关性，筛选相关性高的点作为所述匹配特征关键点”包括：计算所述第三局部图像特征图向量和所述第三相似图像特征图向量的响应矩阵图，基于响应矩阵图获取特征点的响应值，选择响应值高的特征点作为匹配特征关键点。

7.根据权利要求1所述的以图搜图方法，其特征在于，“获取历史图像集合中与所述待搜索图像相似度高的至少一第一相似图像，组成第一相似图像集合”步骤包括：获取所述待搜索图像的第一特征向量；获取所述历史图像集合的每一历史图像的第二特征向量；比对所述第一特征向量和每一所述历史图像的所述第二特征向量的相似度，获取相似度高的至少一所述第二特征向量对应的所述历史图像作为所述第一相似图像。

8.根据权利要求7所述的以图搜图方法，其特征在于，“获取所述待搜索图像的第一特征向量；获取所述历史图像集合的每一历史图像的第二特征向量”包括：将所述待搜索图像输入全局特征提取网络获取所述第一特征向量；将所述历史图像集合的每一所述历史图像输入全局特征提取网络中获取所述第二特征向量，所述全局特征提取网络在训练时的损失函数被替换为双曲正切函数。

9.根据权利要求1所述的以图搜图方法，其特征在于，“获取所述待搜索图像的局部图像”包括：截取所述待搜索图像的局部区域图像，填充所述局部区域图像的尺寸至所述待搜索图像的尺寸，得到所述局部图像。