[发明专利]基于深度学习的单目视觉里程计方法及系统

说明书

本发明涉及图像处理技术领域，具体涉及一种基于深度学习的单目视觉里程计方法及系统。为了解决现有技术确定机器人的位置和姿态精度较低的问题，本发明提出一种基于深度学习的单目视觉里程计方法，包括基于单目相机所获取的多个运动图像，通过预设的图像特征提取模型，获取所述运动图像的运动特征信息；基于所述运动特征信息，通过预设的位姿估计模型，获取所述单目相机的位姿信息。本发明的方法为了使网络输出位姿的结果更精确，同时提高网络的泛化性能，采用多任务学习的方式，在估计位姿的同时预测相邻帧的光流，从而辅助主任务的学习。相比其他基于深度学习的单目里程计方法，本申请的方法具有更高的精度。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于深度学习的单目视觉里程计方法及系统。

背景技术

近年来，深度学习技术已成功运用在人脸识别、目标跟踪、语音识别、机器翻译等方面。其中，视觉里程计是移动机器人、自觉导航以及增强现实中的重要环节。视觉里程计是通过分析处理相关图像序列确定机器人的位置和姿态。视觉里程计按照所使用的相机数量可以分为单目视觉里程计和双目视觉里程计。单目视觉里程计因为其只需要一架相机，更加轻巧、便宜而得到广泛的研究。

经典的视觉里程计算法包括相机矫正、特征检测、特征匹配、外点剔除、运动估计、尺度估计以及后端优化等。经典的视觉里程计算法在大部分情况下都能取得较好的效果，但是面对遮挡、光照变化大、无纹理等场景仍会存在失败的情况。

现有的视觉里程计方法包括采用卷积神经网络学习图片之间的几何关系，实现端到端的位姿估计。但是尽管卷积神经网络能够应对一些极端情况，但是整体精度却低于传统方法，此外，网络的泛化能力也是影响深度神经网络实际应用的重要原因。

因此，如何提出一种解决现有技术问题的方案是本领域技术人员需要解决的技术问题。

发明内容

为了解决现有技术中的上述问题，即为了解决现有技术确定机器人的位置和姿态精度较低的问题，本发明的第一方面提供了一种基于深度学习的单目视觉里程计方法，所述方法包括：

基于单目相机所获取的多个运动图像，通过预设的图像特征提取模型，获取所述运动图像的运动特征信息，其中，所述图像特征提取模型基于神经网络构建，通过预设的第一训练集训练并用于获取运动图像的运动特征信息，所述运动特征信息包括所述运动图像的高维特征向量；

基于所述运动特征信息，通过预设的位姿估计模型，获取所述单目相机的位姿信息，其中，所述位姿估计模型基于神经网络构建，通过预设的第二训练集并用于获取相机的位姿信息。

在一种可能的实现方式中，“基于单目相机所获取的多个运动图像，通过预设的图像特征提取模型，获取所述运动图像的运动特征信息”，其方法包括：

基于多个所述运动图像中连续的两幅运动图像，将连续的两幅运动图像的颜色通道进行堆叠，并根据所述图像特征提取模型的编码器，获取颜色通道堆叠后的两幅运动图像的运动特征信息，其中，所述图像特征提取模型的编码器包括所述图像特征提取模型的卷积层。

在一种可能的实现方式中，在“获取所述运动图像的运动特征信息”的步骤之后，在“获取所述单目相机的位姿信息”的步骤之前，所述方法还包括：

基于所获取的运动特征信息，通过图像特征提取模型的解码器，获取所述运动图像对应的光流信息，所述光流信息用于训练预设的位姿估计模型，以使所述位姿估计模型输出的单目相机的位姿信息趋近于所述单目相机的实际位姿信息。

在一种可能的实现方式中，“获取所述运动图像对应的光流信息”，其方法包括：

按照如下公式所示的方法获取所述运动图像对应的光流信息：