[发明专利]一种基于语义先验的视觉里程计方法

说明书

一种基于语义先验的视觉里程计方法，包括如下步骤：S1、采用语义先验信息构造语义先验模块，并在语义先验模块的基础上构建卷积神经网络并训练；S2、通过图像采集模块，得到相应的彩色图像序列；S3、将图像序列的图像依次输入语义先验模块，计算得到相应的语义概率先验信息；S4、将图像序列的图像依次输入深度图估计模块，计算得到相应的深度图；S5、向相机位姿估计模块输入相邻的三张图像，对图像特征镜像提取，利用提取到的特征实现相机位姿的估计；S6、将相机位姿估计模块得到的相机位姿的估计输入位姿处理模块，产生相机运动轨迹；本发明通过单目相机图像的帧间变化分析相机的位姿，分析实现动态物体语义分割并降低了复杂度。

技术领域

本发明属于本发明属于移动机器人自主定位领域，具体涉及一种基于语义先验的视觉里程计方法。

背景技术

视觉里程计技术是移动机器人自主定位的重要课题，是视觉同时定位与地图构建中的前端技术，也是视觉同时定位与地图构建中最重要的组成部分。视觉里程计通过分析相关图像序列，得到相机帧间位姿估计，进而获取局部地图。在地图构建、自动驾驶、虚拟现实和三维重建等领域有着非常广泛的应用。由于受到复杂噪声、动态物体、交叠和遮挡等问题影响，具有很强鲁棒性的视觉里程计依然极具挑战。

传统的视觉里程计研究了数十年，并提出多种算法，其主要是解决如何准确估计相机位姿的问题。在特征提取上，稀疏特征提取相对于稠密特征提取通常会有着不错的数据处理速度，如基于SIFT特征和基于ORB特征等。通过特征点的匹配实现帧间位姿估计和回环检测，都已经取得了不错的成果，但其依赖人工设计的特征点、不准确的系统建模、环境动力约束复杂等不足导致其在现实使用中，尤其是纹理不明显区域、运动的动态目标、光度变化等的环境条件下依然存在较多挑战。与利用物理模型或几何理论创建人工设计的视觉里程计算法不同，基于深度学习的解决方案提供了一种以数据驱动的方式解决问题的替代方案，并且在基于单目图像预测位姿和深度等信息取得了积极进展。相对于基于雷达、双目相机或融合传感器的视觉里程计，现有的基于单目相机的视觉里程计相对鲁棒性较差，但是在低成本和鲁棒性上有着无法替代的优势。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于语义先验的视觉里程计方法，其设计解决当前视觉里程计在纹理不明显区域、运动的动态目标等的环境条件下依然存在较多挑战的问题，新颖合理，便于推广使用。

为解决上述技术问题，本发明采用的技术方案是构建一种卷积神经网络模型，实现基于语义先验的视觉里程计计算。该模型对当前图像帧进行语义分析，得到像素级分类下的语义概率图，利用稳定可靠的语义概率图作为语义先验信息实现对相机位姿和深度图的精确估计。该模型在公开的数据集上进行训练、验证和测试，使用训练得到的最终模型在测试集上进行实验，输出对应的相机位姿和深度图，最终得出运动轨迹。

进一步地，所述卷积神经网络由以下五个模块构成：

1)图像采集模块：使用单目相机采集视频，并按照10帧的采集速率将视频归一化为128×416像素大小的图像序列；

2)深度图估计模块：采用编码解码结构，在编码器部分使用7层卷积层；解码器部分使用7层反卷积层，用于估计得到输入图像对应的深度图；

3)相机位姿估计模块：采用一个具有5层卷积层和29个残差模块的编码器实现，用于估计得到输入的相邻两帧图像间的相对位姿变换矩阵；

4)语义先验模块：采用编码解码结构，在编码器部分使用ResNet50作为主干网络；解码器部分使用8个卷积层、2个上采样层和1个池化层，用于对当前图像帧进行分析，产生语义概率图，作为先验信息送入深度图估计模块中；

5)位姿处理模块：对相机位姿估计模块产生的相对位姿变换矩阵进行累加，以产生相机运动轨迹。

进一步地，本方法具体包括以下步骤：