[发明专利]基于在线学习深度预测网络的实时稠密单目SLAM方法与系统

摘要

本发明公开了一种基于在线学习深度预测网络的实时稠密单目SLAM方法：通过最小化高梯度点的光度误差优化得到关键帧的相机姿态，并且采用三角测量法预测高梯度点的深度得到当前帧的半稠密地图；选择在线训练图片对，采用逐块随机梯度下降法在线训练更新CNN网络模型，并利用训练后CNN网络模型对当前帧图片进行深度预测得到稠密地图；根据所述当前帧的半稠密地图和预测稠密地图进行深度尺度回归，得到当前帧深度信息的绝对尺度因子；采用NCC得分投票方法根据所述两种投影结果选择所述当前帧的各像素深度预测值得到预测深度图，并对所述预测深度图进行高斯融合得到最终深度图。本发明还提供了相应的基于在线学习深度预测网络的实时稠密单目SLAM系统。

主权项

1.一种基于在线学习深度预测网络的实时稠密单目SLAM方法，其特征在于，包括如下步骤：(1)从单目视觉传感器通过旋转和平移运动采集的图片序列中选择关键帧，通过最小化高梯度点的光度误差优化得到关键帧的相机姿态，并且采用三角测量法预测高梯度点的深度得到当前帧的半稠密地图；(2)根据所述关键帧选择在线训练图片对，采用逐块随机梯度下降法根据所述在线训练图片对来在线训练更新CNN网络模型，并利用训练后CNN网络模型对当前帧图片进行深度预测得到稠密地图；其中，采用逐块随机梯度下降法根据所述在线训练图片对来在线训练更新CNN网络模型，具体为：将ResNet‑50之中的卷积层分为5个块，其中每一个块具体表示为conv1,conv2_x,conv3_x,conv4_x,conv5_x；conv1由一个单一的7X7的全卷积层组成；conv2_x由一个3X3的卷积层和3个瓶颈构建块共10层组成；conv3_x由4个瓶颈构建块共12层组成；conv4_x由6个瓶颈构建块共18层组成：conv5_x由3个瓶颈构建块共9层组成，五个部分加起来构成了ResNet‑50的50层结构；在每一次在线学习和更新的过程之中，每一次迭代k，只更新一个部分的参数W_i，其中i＝1,2,3,4,5，保持剩余4个部分网络层参数不变，而在下一次迭代中，更新第i块参数，其中i＝(k+1)％5；其他层参数保持不变，整个在线学习和更新的迭代一直在进行，直到预设停止条件被满足；(3)根据所述当前帧的半稠密地图和预测稠密地图进行深度尺度回归，得到当前帧深度信息的绝对尺度因子；(4)根据相机姿态将所述预测稠密地图通过位姿变换投影到上一关键帧中，并根据所述绝对尺度因子将所述半稠密地图投影到上一关键帧中，采用NCC得分投票方法根据所述两种投影结果选择所述当前帧的各像素深度预测值得到预测深度图，并对所述预测深度图进行高斯融合得到最终深度图。