[发明专利]一种基于两步可切换归一化深度神经网络的图像匹配方法

说明书

本发明涉及一种基于两步可切换归一化深度神经网络的图像匹配方法，通过分析输入需要匹配的特征，然后经过新型深度神经网络训练自适应地输出匹配好的匹配对。具体地说，给定两个视图中特征点的对应关系，将图像特征匹配问题表述为二进制分类问题。然后构造端到端的神经网络框架，并结合针对稀疏可交换归一化的不同卷积层的自适应归一化器和上下文归一化的鲁棒全局上下文信息的优点，设计两步可切换归一化块以提升网络性能。所述的基于深度神经网络的图像匹配方法主要包括：准备数据集、特征增强、特征学习和测试。本发明能够提高匹配精度。

技术领域

本发明涉及计算机视觉技术领域，特别是一种基于两步可切换归一化深度神经网络的图像匹配方法。

背景技术

图像匹配是计算机视觉一项重要的研究领域。它被广泛应用在很多领域的预处理中，比如，三维重建，同时定位和映射，全景拼接，立体匹配等等。它主要由两步构成构建匹配对和移除错误匹配。

目前存在很多图像匹配的方法。可以将它们分为参数方法、非参数方法和基于学习方法。参数方法是解决匹配问题的流行策略，比如RANSAC及其变体：PROSAC和USAC。具体来说，它首先进行随机最小子集采样，生成单应性矩阵或基本矩阵，然后验证矩阵(它是否是最小的可能的离群值子集)并循环第一步和第二步。但是，这些方法有两个基本的缺点：1)当正确匹配占总匹配的比率较低时，它们(参数方法)不能有效地工作；2)它们无法表达复杂模型非参数方法挖掘本地信息以进行对应选择。假设在视角变化或非刚性变形下，同一场景或物体的图像对的特征点之间的空间邻域关系相似。基于这一事实，研究人员使用空间邻居关系来去除错误匹配。研究人员使用超像素来获取特征匹配问题的特征外观并建立图的邻接矩阵。节点表示潜在的对应关系，链接上的权重表示潜在的匹配之间的成对协议。这些方法涉及匹配之间的兼容性信息。但是，他们没有从兼容的通信中挖掘本地信息。

基于深度学习的方法在各种计算机视觉任务中都取得了巨大的成功。许多研究人员试图采用基于学习的方法来解决匹配任务。它们可以大致分为两类：使用深度学习架构，以及类似Point-Net的架构，从相同或相似场景的图像对构造稀疏点对应关系。尽管已证明基于学习的方法优于参数方法和非参数方法，但在生成的假定匹配中Choy等人的网络模型仍然存在大量错误匹配。MooYi等人的网络模型通过上下文标准化捕获全局上下文信息，并将上下文信息嵌入节点中，但是其上下文标准化很容易受到其他匹配对的影响。基于学习的方法虽然已经能够在各种数据集上取得的优良的效果，但网络层中的批归一化常常受制于批量大小，而且不同的卷积用同样的归一化导致性能不佳，因此如何灵活的切换具有较大的挑战性。

为有效应对匹配过程中存在的这些难点，提出了一种端到端网络。给定两个视图中特征点的对应关系，现有的基于深度学习的方法将特征匹配问题表述为二进制分类问题。在这些方法中，规范化在网络性能中起着重要作用。但是，它们在整个网络的所有规范化层中采用相同的规范化器，这将导致性能欠佳。为了解决此问题，本发明提出了两步可切换归一化块，该块结合了针对可切换归一化的不同卷积层的自适应归一化器和上下文归一化的鲁棒全局上下文信息的优点。因此，本发明在一定程度上能够避免受到上述提到的几个难点问题的影响，最终提高匹配精度。实验结果表明，本发明在基准数据集上达到了最先进的性能。

发明内容

有鉴于此，本发明的目的是提供一种基于两步可切换归一化深度神经网络的图像匹配方法，能够提高匹配精度。

本发明采用以下方案实现：一种基于两步可切换归一化深度神经网络的图像匹配方法，其特征在于：

包括以下步骤：