[发明专利]基于卷积神经元网络路标和序列搜索的回环检测方法

权利要求书

1.基于卷积神经元网络路标和序列搜索的回环检测方法，其特征在于，

以待检测图像为中心选定一个待检索序列，在待检索序列的每一张图像上提取一定数量的路标进行预处理后输入到卷积神经元网络中抽取相应的特征描述子；

在地图的起始位置选定一个图像作为候选匹配序列的中心，并以此为中心在时间轴的前后构建一个候选匹配序列；

待检索序列与候选匹配序列之间按照时间先后的对应关系进行序列间相似度分析；

沿着时间轴移动候选匹配序列的中心，每移动一次，计算一次候选匹配序列与待检索序列之间的相似度并保存评分；

在所有序列评分中搜索数值最大评分对应的序列，同时以此序列中心图像为中心选定一个窗口并在窗口外搜索一个最大评分序列；

如果所述最大评分与所述最大评分序列的评分的比值大于设定的阈值，那所有序列评分中搜索数值最大评分对应的序列的中心图像就是待检索图像对应的回环。

2.如权利要求1所述的基于卷积神经元网络路标和序列搜索的回环检测方法，其特征在于，具体包括：

步骤1：对于给定的待检索图像，选定一个序列长度L；在待检索图像拍摄时间上的前后各扩展出L/2个图像以构成待检索序列；

设待检索图像在视频片段中的序号为q,则待检索序列在视频中的标号为q-L/2到q+L/2，记待检索序列每张图像中的路标为其中s的取值在q-L/2到q+L/2之间,j为1到N的整数，并记这些路标的特征向量为

对给定的待检索图像和地图中的图像进行以下处理：

提取每张图像上指定数目的路标，记指定的数目为N，每张图像提取出的路标信息表示为其中r表示该路标位于序号为r的图像上，i反映了此路标在该图像r中的序号，和分别表示该路标的宽和高，假设共有M张图像，那么r的取值为1到M的整数，i为1到N的整数，将提取的路标的尺寸进行归一化；

将归一化后的路标输入到卷积神经元网络模型AlexNet中，取AlexNet中间层输出作为每个路标的描述子，并将其向量化为9216维的描述子；

使用高斯随机投影方法降低所述9216维的描述子的维数,降低后的维数为1024，然后再进行单位化，得到路标最终的特征向量，记路标的特征向量为

步骤2：在地图的起始位置选定一个候选匹配序列的开始序号，记为p，1≤p≤M，则候选匹配序列的序号位于p-L/2到p+L/2之间，待检索序列与候选匹配序列之间的评分是L+1个图像对之间的相似度之和，每对图像的相似度之和是两幅图像上N对路标中匹配上的路标的相似度评分之和；

分别从待检测序列和候选匹配序列的起始位置取一个图片以计算第一对图像之间的相似度，路标的匹配执行双向搜索，即如果图像s中路标j是图像r中路标i在图像s中路标特征相似度的最近邻，同时图像r中的路标i是图像s中路标j在图像r中路标特征相似度的最近邻，那么路标i和路标j则构成一对候选路标匹配对，如果候选匹配路标对之间的形状相似则确认二者为真实的路标匹配对；

分别遍历图像s和图像r中的所有路标找出每个路标的最近邻，并通过形状相似度确定候选路标匹配对是否构成真实匹配；

计算匹配路标对的特征相似度和形状相似度了，路标i和路标j之间的特征相似度为d_ij：

路标i和路标j之间的形状相似度为sp_ij：

定义图像s和图像r之间的相似度为O_r，s：

其中，X表示图像s和图像r之间共有X对真实匹配路标，X_ij表示真实匹配的路标在各自图片中的序号，O_r，s的值在0到1之间；

两个序列之间的评分M_p，q通过如下公式获得：

其中r取值为[p-L/2，p+L/2],s的取值为[q-L/2，q+L/2],同时r和s的取值在两个序列是对位的，M_p，q是L+1对图像相似度之和；

步骤3：在地图中依次改变p的值，重复步骤2，计算待检测序列与地图中的所有候选匹配序列的评分；

步骤4：在得到的所有评分中，找出评分最大序列对应的序列中心p_max以及相应的评分

以p_max为中心，W为窗口大小，在窗口外的地图图像中找到与待检索序列之间相似度评分最大的序列，其序列中心为p_wmax，与之对应的评分为

步骤5：如果和的比值大于预先设定的判定阈值β，则确定该评分最大序列的中心图像与待检索图像构成回环，否则不构成回环。

3.如权利要求2所述的基于卷积神经元网络路标和序列搜索的回环检测方法，其特征在于，

所述步骤2中判断形状相似的方法为：如果一对路标之间形状满足如下关系，则认为二者形状相似：

同时

其中δ为判定路标相似的阈值。