[发明专利]一种基于全卷积网络的图像匹配方法

摘要

本发明提供一种基于全卷积网络的图像匹配方法，属于计算机视觉领域。其具体步骤为：第一步，构建用于图像匹配的全卷积图像匹配网络模型，设定模型初始化参数和损失函数，整个全卷积匹配网络模型由8部分组成；第二步，根据全卷积图像匹配网络模型得到训练模型的图像数据；第三步，在GPU设备上，采用图像数据对全卷积图像匹配网络模型进行训练；第四步，用训练好的全卷积图像匹配网络模型对图像进行匹配。本发明具有较好的匹配精度和匹配效率，解决了图配准确率与匹配效率不能兼得的问题，与传统方法相比具有较多优势。

主权项

1.一种基于全卷积网络的图像匹配方法，其特征在于包括以下步骤：步骤一，构建用于图像匹配的全卷积图像匹配网络模型，设定模型初始化参数和损失函数，整个全卷积匹配网络模型由8部分组成，包括以下子步骤：1)第一部分由卷积层和池化层组成，输入为2通道图像块堆叠而成的图像，图像大小为64x64，其卷积层参数为3x3x2，卷积个数为64，卷积后的输出数据经过RELU激活函数处理后，输出大小为64x64x64的特征图；该特征图经过步长参数为2的最大池化层处理，输出大小为32x32x64的特征图；2)第二部分结构由卷积层和池化层组成，步骤1)得到的特征图作为第二部分卷积层的输入，其卷积层参数为3x3x64x128，卷积后的输出数据经过RELU激活函数处理，输出大小为32x32x12的特征图；该特征图经过步长为2的最大池化层，输出大小为16x16x128的特征图；3)第三部分结构仅包括卷积层，该部分不存在池化层；步骤2)得到的特征图作为第二部分卷积层的输入，其卷积层参数为3x3x128x128，卷积后的输出数据经过RELU激活函数处理，输出大小为16x16x128的特征图；4)第四部分结构仅包括卷积层，该部分不存在池化层；步骤3)得到的特征图作为第二部分卷积层的输入，其卷积层参数为3x3x128x64，卷积后的输出数据经过RELU激活函数处理，输出大小为16x16x64的特征图；5)第五部分结构仅包括卷积层，该部分不存在池化层；步骤4)得到的特征图作为第二部分卷积层的输入，其卷积层参数为3x3x64x64，卷积后的输出数据经过RELU激活函数处理，再经过步长为2的最大池化层处理，输出大小为8x8x64的特征图；6)第六部分结构仅包括卷积层，该部分不存在池化层；步骤5)得到的特征图作为第二部分卷积层的输入，其卷积层参数为3x3x64x64，卷积后的输出数据经过RELU激活函数处理，输出大小为8x8x64的特征图；7)第七部分结构为一个平化层，该层的作用是将大小为8x8x64的特征图平滑为一个4096x1维的一个向量；8)第八部分结构为一个卷积层参数为1x1x4096x2的卷积层和softmax激活函数组成的输出层，该部分为真个全卷积匹配网络的输出层，用于输出图像匹配的概率；步骤二，根据第一步构建的全卷积图像匹配网络模型，得到训练模型的图像数据；包括以下子步骤：1)检测图像的sift等特征点，以sift特征点所在像素位置为中心，取大小为64x64的图像块作为训练数据；为获得不同图像的图像块的匹配信息，需要预先使用传统图像匹配方法对特征进行预匹配，获得正确的标签；这个过程需要进行人工验证，确保标签的正确性；2)在获得训练数据及对应的标签后，为增强算法的鲁棒性，需要对训练数据进行增强处理得到最终图像数据；所述的增强处理具体为：交换两幅图像的通道顺序，对其中一幅图像进行旋转90°、180°，在图像中增加随机噪声；步骤三，在GPU设备上，采用第二步图像数据训练第一步的全卷积图像匹配网络模型，得到训练好的模型；步骤四，采用训练好的模型对待匹配图像中的图像块对进行匹配；包括以下子步骤：1)对带匹配图像检测sift特征点，并以特征点为中心截取大小为64x64的图像块；2)分别在两张待匹配图像中选取多个大小为64x64的图像块，将图像块进行两两堆叠，得到待预测图像块对，将待预测图像块对输入到训练好的全卷积图像匹配网络中，得到两张待匹配图像的匹配结果。