[发明专利]一种结合图像语义与坐标关系的特征误匹配检测方法

权利要求书

1.一种结合图像语义与坐标关系的特征误匹配检测方法，其特征在于，包括以下步骤：

步骤1，选取大量待匹配图像，采用自动化匹配计算方法加人工交互式标注方法，获得大量正确匹配点对和误匹配点对，从所有的匹配点对中选出2000个匹配点对作为一个样本，样本数据构成训练数据集；

步骤2，搭建可处理邻域图像块与图像坐标的多模态神经网络结构，该神经网络结构主要包括3个模块，分别是语义向量生成模块、坐标位置关系向量生成模块、匹配点对判别模块；

步骤3，对于训练数据集中的每个匹配点对，采用尺度归一化与图像旋转操作对匹配点对的邻域图像块进行对齐预处理，将对齐后的匹配点对邻域图像块输入到步骤2搭建的语义向量生成模块，得到所有匹配点对的语义向量；

步骤4，获取训练数据集中每个样本所有匹配点对的位置坐标，并将每个样本所有匹配点对的位置坐标输入到步骤2搭建的坐标位置关系向量生成模块，得到每个样本所有匹配点对的位置信息特征向量，并对每个样本的所有匹配点对的邻域图像语义向量和位置信息特征向量进行特征融合；

步骤5，构造参数化神经网络模型，把训练数据集中每个样本所有匹配点对的邻域图像块和位置坐标输入到参数化神经网络模型中，得到输出结果；

步骤6，分别用全连接层和交叉熵损失函数对步骤4的融合特征向量及步骤5的输出结果进行二分类判别，并反向传播更新步骤2所搭建的多模态神经网络以及步骤5所搭建的参数化神经网络的权重参数，用训练数据集数据分别训练这两个网络，并保存出2套不同的权重偏置参数；

步骤7，获取待测样本的邻域图像块以及位置坐标，分别输入到步骤6训练好的多模态神经网络以及参数化神经网络中，并得到待测样本的预测结果。

2.根据权利要求1所述的一种结合图像语义与坐标关系的特征误匹配检测方法，其特征在于，所述步骤1的具体做法为：

步骤1.1，选取两幅待匹配原始图像，使用自动匹配算法对这两幅原始图像进行匹配，得到图像的数个匹配点对，每个匹配点对由原始图像上两个特征点组成；

步骤1.2，根据步骤1.1的结果，若每个匹配点对所对应的两个特征点在真实场景中代表的是同一个位置，则这个匹配点对的标签是正确匹配，如果不是同一个位置，则这个匹配点对的标签是错误匹配，以此类推，得到所有匹配点对的标签，并从所有的匹配点对中选出2000个匹配点对作为一个样本；

步骤1.3，重复步骤1.1到1.2，制作出1500个样本作为训练数据集，其中每个样本对应两幅原始图像，2000个匹配点对，每个匹配点对对应两个特征点。

3.根据权利要求2所述的一种结合图像语义与坐标关系的特征误匹配检测方法，其特征在于，所述步骤2的具体做法为：

步骤2.1，搭建共包含14层的语义向量生成模块，依次为卷积层1、BN层1、卷积层2、BN层2、卷积层3、BN层3、卷积层4、BN层4、卷积层5、BN层5、卷积层6、BN层6、卷积层7、BN层7，其中每一层的输出即为下一层的输入；

步骤2.2，搭建共包含18层的坐标位置关系向量生成模块，依次为卷积层1、IN层1、BN层1、卷积层2、IN层2、BN层2、卷积层3、IN层3、BN层3、卷积层4、IN层4、BN层4、卷积层5、IN层5、BN层5、卷积层6、IN层6、BN层6，其中每一层的输出即为下一层的输入；

步骤2.3，搭建共包含5层的匹配点对判别模块，依次为全连接层1、全连接层2、全连接层3、全连接层4、全连接层5，其中每一层的输出即为下一层的输入。