[发明专利]特征匹配方法、装置、存储介质

说明书

本申请实施例提供一种特征匹配方法、装置、存储介质，该方法包括：对第一稀疏特征信息中的第一位置信息和第二稀疏特征信息中的第二位置信息分别进行最近邻搜索处理，得到第一边信息和第二边信息；根据所述第一位置信息和第一视觉描述子向量得到第一图节点信息；根据所述第二位置信息和第二视觉描述子向量得到第二图节点信息；对所述第一边信息和所述第一图节点信息进行图聚合处理，得到第一特征表达向量；对所述第二边信息和所述第二图节点信息进行图聚合处理，得到第二特征表达向量；根据所述第一特征表达向量和所述第二特征表达向量得到所述第一稀疏特征信息和所述第二稀疏特征信息之间的匹配信息。其可以提升特征匹配的效果。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种特征匹配方法、装置、存储介质。

背景技术

随着科技发展，增强现实(Augmented Reality，AR)导航、数字孪生、三维(three-dimensional，3D)游戏等AR/虚拟现实(VirtualReality，VR)相关应用正在逐渐走进大众的工作和生活。同时自动驾驶、智慧交通等智能化应用正在改变人们的出行方式。在以上应用中，基于视觉的地图构建和定位是重要基础功能。对于相同的视觉特征，特征匹配算法的鲁棒性和效率直接影响地图构建和定位的精度、效率和稳定性。

对于基于深度学习的匹配方法中计算机视觉领域广泛使用的SuperGlue特征匹配网络模型算法，其基于特征的位置信息、特征描述子向量以及基于图卷积网络实现的多头注意力聚合模块来进行处理，最后输出特征匹配结果。

然而，该方式针对重复纹理和夜景等困难场景匹配效果不佳。另一方面，该方式资源占用高，且耗时长。

发明内容

本申请公开了一种特征匹配方法、装置、存储介质，可以实现较好的匹配效果。

第一方面，本申请实施例提供一种特征匹配方法，包括：对第一稀疏特征信息中的第一位置信息和第二稀疏特征信息中的第二位置信息分别进行最近邻搜索处理，得到第一边信息和第二边信息；其中，所述第一稀疏特征信息是根据第一图像进行处理得到的，所述第二稀疏特征信息是根据第二图像进行处理得到的；根据所述第一位置信息和所述第一稀疏特征信息中的第一视觉描述子向量进行神经网络编码处理，得到第一图节点信息；根据所述第二位置信息和所述第二稀疏特征信息中的第二视觉描述子向量进行神经网络编码处理，得到第二图节点信息；对所述第一边信息和所述第一图节点信息进行图聚合处理，得到第一特征表达向量；对所述第二边信息和所述第二图节点信息进行图聚合处理，得到第二特征表达向量；根据所述第一特征表达向量和所述第二特征表达向量进行处理，得到所述第一稀疏特征信息和所述第二稀疏特征信息之间的匹配信息。

本申请实施例，通过对第一稀疏特征信息中的第一位置信息、第一视觉描述子向量和第二稀疏特征信息中的第二位置信息、第二视觉描述子向量进行处理，得到第一边信息、第一图节点信息和第二边信息、第二图节点信息。然后，基于第一边信息和第一图节点信息进行图聚合处理，得到第一特征表达向量；基于第二边信息和第二图节点信息进行图聚合处理，得到第二特征表达向量。进而根据第一特征表达向量和第二特征表达向量进行处理，得到第一稀疏特征信息和第二稀疏特征信息之间的匹配信息。该方案，基于融合了每个特征周边邻域信息的特征表达向量来得到稀疏特征信息之间的匹配信息，可以提升特征表达的区分度，从而提升特征匹配的效果。

在一种可能的实现方式中，所述根据所述第一特征表达向量和所述第二特征表达向量进行处理，得到所述第一稀疏特征信息和所述第二稀疏特征信息之间的匹配信息，包括：根据所述第一特征表达向量和所述第二特征表达向量进行单头注意力机制的快速消息传递处理，得到第三特征表达向量和第四特征表达向量；根据所述第三特征表达向量和所述第四特征表达向量进行匹配计算，得到所述第一稀疏特征信息和所述第二稀疏特征信息之间的匹配信息。

通过这样处理，使用单头注意力机制，在压缩后的隐藏特征维度传递信息，可以实现在不影响匹配效果的情况下大幅度降低计算复杂度。