[发明专利]一种全周期采用CNNs特征检测的视觉SLAM算法

权利要求书

1.一种全周期采用CNNs特征检测的视觉SLAM方法，包括以下步骤：

步骤1:使用双目摄像机扫描周围的环境信息；将采集到的多个视频流中一部分作为训练数据集，一部分作为测试数据集；

步骤2：通过同步检测的方法对步骤1采集的视频流中训练数据集进行预训练；采用无监督学习模型采用随机梯度下降训练对训练数据集进行预训练，得到运动和深度联合表示的特征信息，随后将运动和深度联合表示的特征信息去白化返回到图像空间；

步骤3：使用卷积神经网络训练得到速度的局部改变与方向的局部改变，来执行视觉里程计；将步骤2中无监督学习模型训练得到的特征输入两个相同架构的CNN第一层，用于两个CNN第一层的初始化；两个CNN分别输出速度的局部改变与方向的局部改变，并有两个CNN剩余部分分别将速度的局部改变与方向的局部改变与期望的标签相关联；

整个CNN网络共有6层，第一层是5*5的卷积层，分别左右图像学习特征；接下来第二层对左右两个卷积层提取出的特征进行元素相乘；第三层1*1的卷积层，第四层是池化层，第五层是全连接层，最后的输出层是Softmax层；

上述两个CNN的输入均为5帧子序列，并且目标输出是局部速度和方向改变的向量表示；局部的速度和方向改变信息的效果和精度通过双目数据集KITTI进行评测；

步骤4：利用步骤3得到的速度的局部改变与方向的局部改变信息，恢复出相机的运动路径；

步骤5：使用卷积神经网络进行闭环检测，消除路径预测的累积误差；

首先，通过将步骤1 中采集的训练数据集和测试数据集作为输入，使用在imagenet数据集上预训练好的overfeat卷积神经网络进行特征提取；随后，对从每一张测试数据集中的图片中提取的特征与从每一张训练数据集中提出的特征进行匹配；

利用overfeat卷积神经网络各层特征构造混合矩阵：

M_k(i,j)＝d(L_k(I_i),L_k(I_j)),i＝1,…,R,j＝1,…,T

其中，I_i代表第i帧训练数据集中的图像输入，I_j代表第j帧测试数据集中的图像输入，L_k(I_i)代表与I_i对应的第k层输出，M_k(i,j)代表第k层训练样本i和测试样本j之间的欧氏距离，即描述了两者之间的匹配程度；R与T分别代表训练图像的个数和测试图像的个数；上述混合矩阵每一列存储了第j帧测试图像和所有训练图像之间的平均特征向量差；

搜索混合矩阵每列中具有最低特征向量差的元素；

2.如权利要求1所述一种全周期采用CNNs特征检测的视觉SLAM方法，其特征在于：步骤1中使用双目摄像机沿在环形区域移动，移动圈数为1～2圈，构成闭环。

3.如权利要求1所述一种全周期采用CNNs特征检测的视觉SLAM方法，其特征在于：步骤3中，将步骤2训练得到的特征输入两个相同架构的CNN第一层，通过CNN架构把获取的运动和深度的联合表示进行训练与期望的标签相关联。