[发明专利]基于在线学习深度预测网络的实时稠密单目SLAM方法与系统

权利要求书

1.一种基于在线学习深度预测网络的实时稠密单目SLAM方法，其特征在于，包括如下步骤：

(1)从单目视觉传感器通过旋转和平移运动采集的图片序列中选择关键帧，通过最小化高梯度点的光度误差优化得到关键帧的相机姿态，并且采用三角测量法预测高梯度点的深度得到当前帧的半稠密地图；

(2)根据所述关键帧选择在线训练图片对，采用逐块随机梯度下降法根据所述在线训练图片对来在线训练更新CNN网络模型，并利用训练后CNN网络模型对当前帧图片进行深度预测得到稠密地图；其中，采用逐块随机梯度下降法根据所述在线训练图片对来在线训练更新CNN网络模型，具体为：

将ResNet-50之中的卷积层分为5个块，其中每一个块具体表示为conv1,conv2_x,conv3_x,conv4_x,conv5_x；conv1由一个单一的7X7的全卷积层组成；conv2_x由一个3X3的卷积层和3个瓶颈构建块共10层组成；conv3_x由4个瓶颈构建块共12层组成；conv4_x由6个瓶颈构建块共18层组成：conv5_x由3个瓶颈构建块共9层组成，五个部分加起来构成了ResNet-50的50层结构；

在每一次在线学习和更新的过程之中，每一次迭代k，只更新一个部分的参数W_i，其中i＝1,2,3,4,5，保持剩余4个部分网络层参数不变，而在下一次迭代中，更新第i块参数，其中i＝(k+1)％5；其他层参数保持不变，整个在线学习和更新的迭代一直在进行，直到预设停止条件被满足；

(3)根据所述当前帧的半稠密地图和预测稠密地图进行深度尺度回归，得到当前帧深度信息的绝对尺度因子；

(4)根据相机姿态将所述预测稠密地图通过位姿变换投影到上一关键帧中，并根据所述绝对尺度因子将所述半稠密地图投影到上一关键帧中，采用NCC得分投票方法根据所述两种投影结果选择所述当前帧的各像素深度预测值得到预测深度图，并对所述预测深度图进行高斯融合得到最终深度图。

2.如权利要求1所述的基于在线学习深度预测网络的实时稠密单目SLAM方法，其特征在于，所述根据所述关键帧选择在线训练图片对，具体为：采用如下约束条件在关键帧前后帧图片中筛选图片帧与所述关键帧构成图片对：

第一，相机运动约束：两帧图片之间水平方向上的位移满足|t_x|＞0.9*T，其中T代表两帧图片之间的基线距离；

第二，视差约束：对于每一对图片，采用光流法计算图片间的垂直方向的平均视差Dis_avg，只有当Dis_avg小于预设阈值δ时才会将该对图片保存为候选训练图片；

第三，多样性约束：同一个关键帧只能产生一对训练图片；

第四，训练池容量约束：每当训练图片对的数量到达设定阈值V时，就将训练池中的图片送入到网络，对网络进行在线训练，保存训练得到的网络模型，同时清空训练池继续进行训练数据的筛选。

3.如权利要求1或2所述的基于在线学习深度预测网络的实时稠密单目SLAM方法，其特征在于，所述在线训练更新CNN网络模型为选择性更新，具体为：

计算每一批输入到CNN网络模型之中图片的训练损失函数，一旦一批图片的所有图片的损失函数都大于预先设定的阈值L_high，将启动在线学习和更新的进程，在线学习和更新的进程将会一直进行，直到训练图片的损失函数降到阈值L_low之下，或者是迭代的次数达到了预先设定的阈值。

4.如权利要求1或2所述的基于在线学习深度预测网络的实时稠密单目SLAM方法，其特征在于，所述深度尺度回归方法为：RANSAC算法或最小二乘算法。