[发明专利]一种结合图像语义与坐标关系的特征误匹配检测方法

说明书

本发明公开了一种结合图像语义与坐标关系的特征误匹配检测方法，该方法由三个特定功能模块构成的深度学习检测网络对图像误匹配点进行检测，三个功能模块包括语义向量生成模块、坐标位置关系向量生成模块、以及匹配点对判别模块；其中语义向量生成模块输入需先进行旋转方向和尺度的对齐操作，通过在大量包含正确匹配点对和误匹配点对的已标注训练数据集上进行深度学习网络训练，训练后网络可以对待检测的匹配图像点对的匹配关系的正确性进行有效判别；本发明采用新的深度学习方法显著提升了对匹配点对正确性判别的准确率与鲁棒性，此外本发明还可为人脸识别，三维重建，图像检索，自动驾驶等领域应用提供高质量的特征点匹配关系校验方法。

技术领域

本发明属于人工智能领域，具体涉及一种结合图像语义与坐标关系的特征误匹配检测方法。

背景技术

图像的特征点匹配技术在计算机视觉任务中有着广泛的应用，例如人脸识别，三维重建，图像检索，自动驾驶等。目前，在特征点匹配领域已有较多经典算法，包括SIFT，SURF，FAST，HoG，CONTEXTDESC等。此类经典算法虽已考虑到待匹配图像之间的旋转，尺度，光照变化等差异，但在处理复杂场景时，上述方法仍无法避免错误匹配问题，下文简称误匹配。因此，误匹配检测的研究工作旨在通过剔除匹配结果中的误匹配特征点对，以提高匹配的准确率。现有误匹配检测方法主要包括两类：利用匹配关系统计与机器视觉成像建模理论的误匹配检测方法，例如RANSAC算法。该方法采用迭代优化方式，计算符合特征点匹配的基础矩阵，从而剔除不符合基础矩阵的外点，即误匹配点。采用深度学习方法的误匹配检测方法，例如NM-NET算法，其将待匹配两幅图像的所有匹配点对的坐标作为网络输入，采用神经网络学习误匹配点对的特征，从而对匹配结果点对的正确与否做出判别，其本质仍是对匹配点对坐标关系的离群点进行检测。近年来，对于误匹配点对的高精度检测仍是计算机视觉及图像处理领域的热点问题，相关算法对于视角、尺度以及光照条件变化较大的数据集，仍存在误匹配检测准确率低、算法鲁棒性不高的瓶颈。与上述方法不同，本专利提出一种新的特征误匹配检测方法，该方法不仅依赖待检测匹配特征点对的坐标关系，还结合匹配特征点对的图像语义信息，并构建了不同于现有方法的深度学习网络结构以实现更高精度的误匹配特征点检测。

发明内容

本发明的目的是提供一种结合图像语义与坐标关系的特征误匹配检测方法，与现有特征误匹配检测方法相比，该方法可显著提高误匹配特征点的检测精度。

为了实现上述目的，本发明采用的技术方案是：

一种结合图像语义与坐标关系的特征误匹配检测方法，包括以下步骤：

步骤1，选取大量待匹配图像，采用自动化匹配计算方法加人工交互式标注方法，获得大量正确匹配点对和误匹配点对，从所有的匹配点对中选出2000个匹配点对作为一个样本，样本数据构成训练数据集；

步骤2，搭建可处理邻域图像块与图像坐标的多模态神经网络结构，该神经网络结构主要包括3个模块，分别是语义向量生成模块、坐标位置关系向量生成模块、匹配点对判别模块；

步骤3，对于训练数据集中的每个匹配点对，采用尺度归一化与图像旋转操作对匹配点对的邻域图像块进行对齐预处理，将对齐后的匹配点对邻域图像块输入到步骤2搭建的语义向量生成模块，得到所有匹配点对的语义向量；

步骤4，获取训练数据集中每个样本所有匹配点对的位置坐标，并将每个样本所有匹配点对的位置坐标输入到步骤2搭建的坐标位置关系向量生成模块，得到每个样本所有匹配点对的位置信息特征向量，并对每个样本的所有匹配点对的邻域图像语义向量和位置信息特征向量进行特征融合；

步骤5，构造参数化神经网络模型，把训练数据集中每个样本所有匹配点对的邻域图像块和位置坐标输入到参数化神经网络模型中，得到输出结果；