[发明专利]一种在困难条件下检测子和描述符同时生成的特征点匹配方法

说明书

本发明涉及图像识别技术领域，且公开了一种在困难条件下检测子和描述符同时生成的特征点匹配方法，在我们提出的方法中，其中单一卷积神经网络发挥双重作用：它同时是密集的特征描述符和特征检测器，即采用单一神经网络，同时获取检测子和描述子。在局部重建任务中的亚琛昼夜数据集上，本方法比所有特征点匹配方法表现更好。结果明显验证了我们的描述符和检测子同时生成的方法的优越性，因为它在这种极富挑战性的情况下显著胜过先检测后描述的方法。我们提出了一种新的方法——检测子和描述符同时生成来提取局部特征进行特征点匹配。已经证明，我们的方法在极具挑战性的条件下的优越性。

技术领域

本发明涉及图像识别技术领域，具体为一种在困难条件下检测子和描述符同时生成的特征点匹配方法。

背景技术

建立图像间的像素级对应是计算机视觉的基本问题之一，在三维计算机视觉、视频压缩、跟踪、图像检索和视觉定位等方面都有广泛的应用。

稀疏的局部特征是一种常见的对应估计方法。这些方法遵循先检测后描述的顺序，该方法首先应用特征检测器来识别一组关键点或兴趣点；然后，检测器将围绕关键点提取的图像块提供给以下功能描述阶段。该阶段的输出是每个图像块的简洁表示。稀疏的局部特征方法有它的优势：通过(近似)最近邻搜索和欧几里得距离可以有效地匹配对应关系。稀疏特征提供了一种有效的内存表示方式，因此可以实现按比例进行缩放运动(SfM)或视觉定位等方法。关键点检测器通常考虑低级图像信息，例如角或类似斑点的结构。这样，在图像中局部特征通常可以被准确地定位，这是3D重建的一个重要属性。稀疏局部特征方法已在各种成像条件下成功应用。然而，它们通常在极端的外观变化下表现不佳，例如，在白天和黑夜或季节或纹理较弱的场景之间。最新结果表明，这种性能下降的主要原因是关键点检测器缺乏重复能力：尽管局部描述符考虑了较大的patches，并可能编码了更高级别的结构，但关键点检测器仅考虑了较小的图像区域。因此，在强烈的外观变化下，检测结果不稳定。这是由于探测器所使用的低级信息往往更容易受到诸如像素强度等低低级图像统计数据变化的影响。然而，已经观察到，即使不能可靠地检测到关键点，本地描述符仍然可以成功匹配。因此，在具有挑战性的条件下，放弃检测阶段并密集提取描述符的方法会表现出更好的性能。然而，这种鲁棒性的获得是以更高的匹配时间和内存消耗为代价的。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种在困难条件下检测子和描述符同时生成的特征点匹配方法，解决了上述背景技术中所提出的问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：一种在困难条件下检测子和描述符同时生成的特征点匹配方法，包括以下步骤：

S1、输入一张图像I，经过CNN网络输出，得到一个三维张量F∈R^h×w×n，其中R^h×w×n表示h×w×n的特征图，h×w是特征图的空间分辨率，n是通道数，三维张量F是二维响应D的集合：

D^k＝F_：：k，D^k∈R^h×w

其中，k＝1，...，n；可以将特征提取函数视为n个不同的特征检测子函数每个函数产生一个二维响应图D^k，然后将这些原始分数经过后处理，只选择一个位置子集作为输出关键点；

S2、由于存在多个检测映射D^k(k＝1，...，n)，可以对其中任何一个进行监测，对于要检测的点(i，j)：

对于每个像素(i，j)，这对应于选择做好的检测子D^k，然后验证该检测器的响应映射D^k上的位置(i，j)是否存在局部极大值，如果上述特征图中的某个元素在通道上最大，并且在那层局部也是最大，那么它就是一个特征点；