[发明专利]一种基于深度学习的运动模糊图像特征匹配方法

权利要求书

1.一种基于深度学习的运动模糊图像特征匹配方法，其特征在于包括如下步骤：

步骤1、利用全卷积网络训练“俄罗斯方块数据集”，得到训练后的MagicPoint网络；

步骤2、利用MagicPoint网络训练未加标签的真实图像数据集，再加上同形变换处理，生成伪标签；

步骤3、构建图像特征点提取和描述的网络结构SuperPoint，以前面的伪标签为基准，训练SuperPoint网络，最终输出运动模糊图像的描述符；

步骤4：利用前面步骤中得到的描述符，实现运动模糊图像的特征匹配。

2.根据权利要求1所述的一种基于深度学习的运动模糊图像特征匹配方法，其特征在于步骤1具体实现如下：

采取神经网络自己给自己标记标签的方法，实现网络的自监督训练，避开了人工标记；首先制作一个大型的“俄罗斯方块数据集”，该数据集由大量的棋盘、立方体、椭圆、直线、多边形、星形和条纹图形组成；将图形称为角点，用于两幅图像的特征点检测、描述和匹配；其次又对“俄罗斯方块数据集”进行模糊处理，将处理后的数据集用于训练一个全卷积神经网络，得到训练后的网络MagicPoint。

3.根据权利要求2所述的一种基于深度学习的运动模糊图像特征匹配方法，其特征在于步骤2具体实现如下：

将加入同形变换后的MagicPoint网络训练MS-COCO 2014输出的结果作为后续工作的伪标签。

4.根据权利要求3所述的一种基于深度学习的运动模糊图像特征匹配方法，其特征在于步骤3具体如下：

以SuperPoint全卷积神经网络为基础，构建所需的SuperPoint网络结构；SuperPoint全卷积神经网络包括一个单一的、共享的编码器，用于降低输入图像的维度，编码器之后连接两个解码器，分别学习不同类型的权重，一个解码器用于兴趣点提取，另一个解码器用于兴趣点描述，且两个解码器网络的大部分参数都是共享的；

在兴趣点提取的解码器结构中加入softmax层，并最后进行reshape操作，损失函数用交叉熵函数；

在兴趣点描述的解码器结构中加入双三次插值和L2正则化，损失函数使用铰链损失；

构建好SuperPoint网络结构之后，将目标数据集(运动模糊图像)输入网络，并以伪标签为参考，得到目标数据集的特征点描述符文件。

5.根据权利要求4所述的一种基于深度学习的运动模糊图像特征匹配方法，其特征在于步骤4具体实现如下：

在得到描述符文件之后，利用计算两个描述符向量之间的L2正则化距离，再使用暴力匹配的方法，得到两幅相邻帧运动模糊图像的匹配结果。

6.根据权利要求1或2或3或4或5所述的一种基于深度学习的运动模糊图像特征匹配方法，其特征在于所述的同形变换具体实现如下：

假设f_θ(·)是希望的提取兴趣点函数，I为输入的图像，x为输入图像所对应的兴趣点，那么有如下的对应关系：

x＝f_θ(I) (1)

一个理想的兴趣点检测算子对于同形变换应该是协变的，假设H是一个随机的同形变换，那么f_θ(·)函数就是关于H的协变函数，则满足如下关系式：

Hx＝f_θ(H(I)) (2)

用Hx表示同形变换H被应用到兴趣点上，H(I)表示图像I被应用H后的结果，将同形变换矩阵H移至右边，可得如下结果：

x＝H^-1f_θ(H(I)) (3)

在实践中，一个兴趣点检测器不会是完全协变的；在上面的等式中，不同的H会产生不同的兴趣点x；同形变换操作的基本思想就是对一个足够大的随机H样本进行求和平均，这样子在所有样本上求和平均的结果，我们称之为超点检测器，并记作

通过实验，决定取值N_h＝100，并且将加入同形变换后的MagicPoint训练MS-COCO 2014输出的结果作为后续工作的伪标签。