[发明专利]基于深度视觉里程计和IMU的相机位姿估计方法及装置

说明书

本发明实施例提供一种基于深度视觉里程计和IMU的相机位姿估计方法及装置，该方法包括：利用光流网络对相邻图像帧提取特征得到光流信息，并利用IMU获取相机加速度和角速度；将光流信息和相邻图像帧，分别输入预设神经网络模型的空间卷积网络分支提取运动特征，和时间卷积网络分支提取时间特征，并将运动特征和时间特征融合后得到第一位姿向量；对相邻图像帧对应时刻的加速度和角速度进行积分，得到第二位姿向量；根据第一位姿向量和第二位姿向量，得到融合后的位姿向量；根据当前时刻及之前，多个连续时刻的融合后位姿向量，确定当前时刻的位姿。该方法可分离性强、精度高、计算量低，能够适用于纹理缺失和实时性要求高等复杂场景。

技术领域

本发明涉及空间定位技术领域，尤其涉及一种基于深度视觉里程计和IMU的相机位姿估计方法及装置。

背景技术

相机位姿估计是机器人定位和自动驾驶领域的一项基本技术，它通过各种传感器连续跟踪相机的自我运动估计位置和姿态。其中相机和IMU因为低成本、高性能的特点而被广泛结合使用，而且这两种传感器具有高度的互补性：相机捕捉场景的结构和外观信息，但纯相机传感器在光照变化大、纹理特征缺失、快速运动情况下会导致尺度模糊，这种单纯依靠相机获取图片序列得到位姿的方法被称为视觉里程计(Visual Odometry，简称VO)；相反，IMU完全不依赖于外部环境，能够提供绝对尺度估计。融合IMU的信息估计位姿的方法被称为视觉惯性里程计(Visual-Interial Odometry，简称VIO)，它不仅可以解决尺度缺失的问题，而且能够提高位姿估计的准确率。

目前的基于深度学习的方法可以直接从单目相机和IMU数据中回归得到位姿数据，无需调整系统参数。现有的基于深度学习的位姿估计方法(如VINet)主要利用卷积神经网络FlowNet直接从原始图像序列中学习几何特征和循环神经网络从IMU序列中提取时序特征，然后将这两种特征输入到长短期记忆LSTM网络中得到位姿，与传统融合方法相比，它在生成精确位姿估计结果的同时，无需相机与IMU紧密校准以获得绝对尺度估计。然而这种方法需要相机和IMU的紧密耦合、参数量多、计算复杂度高，难以应用于对实时性有较高要求和纹理缺失等复杂场景。

发明内容

本发明实施例提供一种基于深度视觉里程计和IMU的相机位姿估计方法及装置，用以解决现有技术中的问题。

本发明实施例提供一种基于深度视觉里程计和IMU的相机位姿估计方法，包括：每次产生新视频帧时，获取包括新视频帧在内的相邻图像帧，利用光流网络对所述相邻图像帧提取特征得到光流信息，并利用惯性里程计IMU获取相机加速度和角速度；将所述光流信息和所述相邻图像帧，分别输入预设神经网络模型的空间卷积网络分支提取运动特征，和时间卷积网络分支提取时间特征，并将所述运动特征和所述时间特征融合后得到第一位姿向量；对相邻图像帧对应时刻的加速度和角速度进行积分，得到第二位姿向量；根据所述第一位姿向量和所述第二位姿向量，得到融合后的位姿向量；根据当前时刻及之前，多个连续时刻的融合后位姿向量，确定当前时刻的位姿；其中，所述预设神经网络模型，根据已知位姿向量的相邻图像帧，提取光流信息后，将光流信息和图像帧作为输入，将已知位姿向量作为标签，进行训练得到。

根据本发明一个实施例的基于深度视觉里程计和IMU的相机位姿估计方法，所述利用光流网络对所述相邻图像帧提取特征得到光流信息，包括：采用快速光流提取网络从相邻两帧中提取光流特征，得到每一像素的光流矢量图；将每一像素的光流矢量值投影到0-255区间，并将光流矢量图表示为彩色图像。

根据本发明一个实施例的基于深度视觉里程计和IMU的相机位姿估计方法，输入预设神经网络模型的空间卷积网络分支提取运动特征，包括：以滑动窗口形式组合经过预处理后的两帧图像帧，将两张图像的颜色通道进行堆叠，并根据空间卷积网络，获取堆叠后的帧图像的运动特征，并将所获运动特征输入到全连接层以减小维度息。