[发明专利]一种基于深度学习的运动模糊图像特征匹配方法

说明书

本发明公开了一种基于深度学习的运动模糊图像特征匹配方法。本发明步骤：1、利用全卷积网络训练“俄罗斯方块数据集”，得到训练后的MagicPoint网络；2、利用MagicPoint网络训练未加标签的真实图像数据集，再加上同形变换处理，生成伪标签；3、构建图像特征点提取和描述的网络结构SuperPoint，以前面的伪标签为基准，训练SuperPoint网络，最终输出运动模糊图像的描述符；4：利用前面步骤中得到的描述符，实现运动模糊图像的特征匹配。本发明成功将卷积神经网络应用于运动模糊图像的特征匹配工作，并开创性的打破传统先特征点提取后描述的思想，采用提取和描述同步进行的网络架构，并共享了大部分网络参数，降低网络的计算量，达到了特征点提取和描述之间相辅相成、互相促进的效果。

技术领域

本发明涉及图像处理技术领域，尤其针对运动模糊图像的特征匹配，具体地说，提出了一种基于深度学习的图像特征点提取和匹配的方法。

背景技术

通常来讲，图像的特征匹配主要分为三个步骤：特征提取、特征描述和特征匹配。特征提取用来从图片中提取出关键点(或特征点、角点)等。有了关键点的信息，之后将对关键点进行描述，从而可以根据不同关键点的不同描述来判断关键点之间的匹配关系。用一组数学向量对特征点进行描述，其主要保证不同的向量和不同的特征点之间是一种一一对应的关系，同时相似的关键点之间的向量的差异尽可能小。在进行特征匹配的时候，将通过计算不同特征描述符向量之间距离的远近来判断特征点之间是否相似。特征点之间的匹配过程到该步骤其实就是特征向量之间的距离计算。常用的距离有欧式距离、汉明距离、余弦距离等等。

传统的图像特征匹配方法，如SIFT和ORB等，均是先进行特征提取，后进行特征匹配，两者是分开进行的。有不少学者对上述两种方法在应对光照和视角变化的场景中，进行了大量的应用和改进。但极少有人对运动模糊图像的特征匹配，进行过相关的研究。本发明所研究的正是针对快速运动情况下模糊图像的特征匹配。

随着深度学习的兴起，越来越多的学者开始研究将神经网络应用到图像的特征匹配中来。DeTone等人则提出一种基于VGG架构的新型全卷积神经网络SuperPoint，它打破了传统方法中，将特征提取和特征匹配分先后进行的固有思路，将两者同时进行，并且共用一部分网络结构和参数，以减少网络的训练量。该方法在应对光照和视角变化的场景中，取得了惊人的效果。

卷积神经网络已经被证明在许多方面优于传统的算法，且卷积特征具有尺度不变性、保持图像纹理信息等优点，因此将深度学习的方法用于快速运动情况下模糊图像的特征匹配工作，是极具研究价值的。我们在SuperPoint的基础上，加入了对训练数据的模糊处理，并将其训练好的网络模型应用到了运动模糊图像的特征匹配上，结果显示我们的方法比传统方法(如：SIFT和ORB)都要好。

发明内容

本发明主要研究的是运动模糊图像的特征匹配，需要解决的技术问题有：如何将当前火热的卷积神经网络应用于由相机快速运动导致的运动模糊图像的特征匹配。

本发明的灵感就来自于，在几乎所有将图像作为输入的任务中，卷积神经网络已经被证明优于传统手工方法。如今，许多学者将卷积神经网络应用于人体姿态估计、目标检测和房间布局估计等多个领域，并且取得了惊人的效果。

为了将“万能”的神经网络用于运动模糊图像的特征匹配，本发明采用如下四个步骤进行：

步骤1、利用全卷积网络训练“俄罗斯方块数据集”，得到训练后的网络MagicPoint；

训练卷积神经网络的关键之一是使用由人类手工标记的标签，然而，在图像的特征匹配工作，特别是运动模糊图像的特征点匹配工作中，所要提取的兴趣点在语义上是不明确的，无法按照传统的人工标记的方式去实现。为了解决这一难题，本发明采取神经网络自己给自己标记标签的方法，从而实现网络的自监督训练，避开了人工标记这一不易实现的步骤。