[发明专利]基于深度视觉里程计和IMU的相机位姿估计方法及装置

权利要求书

1.一种基于深度视觉里程计和IMU的相机位姿估计方法，其特征在于，包括：

每次产生新视频帧时，获取包括新视频帧在内的相邻图像帧，利用光流网络对所述相邻图像帧提取特征得到光流信息，并利用惯性里程计IMU获取相机加速度和角速度；

将所述光流信息和所述相邻图像帧，分别输入预设神经网络模型的空间卷积网络分支提取运动特征，和时间卷积网络分支提取时间特征，并将所述运动特征和所述时间特征融合后得到第一位姿向量；

对相邻图像帧对应时刻的加速度和角速度进行积分，得到第二位姿向量；根据所述第一位姿向量和所述第二位姿向量，得到融合后的位姿向量；

根据当前时刻及之前，多个连续时刻的融合后位姿向量，确定当前时刻的位姿；

其中，所述预设神经网络模型，根据已知位姿向量的相邻图像帧，提取光流信息后，将光流信息和图像帧作为输入，将已知位姿向量作为标签，进行训练得到。

2.根据权利要求1所述的基于深度视觉里程计和IMU的相机位姿估计方法，其特征在于，所述利用光流网络对所述相邻图像帧提取特征得到光流信息，包括：

采用快速光流提取网络从相邻两帧中提取光流特征，得到每一像素的光流矢量图；

将每一像素的光流矢量值投影到0-255区间，并将光流矢量图表示为彩色图像。

3.根据权利要求1所述的基于深度视觉里程计和IMU的相机位姿估计方法，其特征在于，输入预设神经网络模型的空间卷积网络分支提取运动特征，包括：

以滑动窗口形式组合经过预处理后的两帧图像帧，将两张图像的颜色通道进行堆叠，并根据空间卷积网络，获取堆叠后的帧图像的运动特征，并将所获运动特征输入到全连接层以减小维度息。

4.根据权利要求1所述的基于深度视觉里程计和IMU的相机位姿估计方法，其特征在于，输入预设神经网络模型的时间卷积网络分支提取时间特征，包括：

沿颜色通道以滑动窗口形式组合两帧图像的光流序列，将窗口内堆叠后的光流序列输入到时间卷积网络，通过卷积层提取时间特征，将提取到的时间特征输入到全连接层以减小维度。

5.根据权利要求1所述的基于深度视觉里程计和IMU的相机位姿估计方法，其特征在于，所述将所述运动特征和所述时间特征融合后得到第一位姿向量，包括：

将两个分支的全连接层提取的运动特征和时间特征拼接后，再输入到两个全连接层中，最终输出得到由三维平移分量和四元组姿态分类的自由度位姿向量。

6.根据权利要求1所述的基于深度视觉里程计和IMU的相机位姿估计方法，其特征在于，将所述光流信息和所述相邻图像帧，分别输入预设神经网络模型的空间卷积网络分支提取运动特征，和时间卷积网络分支提取时间特征之前，还包括：

获取多个已知位姿向量的视频帧，并采集视频帧在内的相邻图像帧；

以相邻图像帧和相邻图像帧提取的光流信息作为样本输入，对应的已知位姿向量作为标签，对构建的具有空间卷积网络分支、时间卷积网络分支以及特征融合结构的神经网络模型进行训练，得到所述预设的神经网络模型。

7.根据权利要求1所述的基于深度视觉里程计和IMU的相机位姿估计方法，其特征在于，所述根据当前时刻及以前，多个连续时刻的融合后位姿向量，确定当前时刻的位姿，包括：

将当前时刻及之前，多个连续时刻的融合后位姿向量，输入预设的卷积神经网络模型，输出当前时刻的位姿向量；

其中，所述预设的卷积神经网络模型，根据已知位姿向量为标签，对应的多个连续时刻融合后位姿向量作为样本输入，进行训练后得到。