[发明专利]基于视觉惯性的SLAM方法、装置、存储介质和设备

权利要求书

1.一种基于视觉惯性的SLAM方法，其特征在于，所述方法包括：

通过前端线程将第一时刻图像采集单元采集的图像信息和惯性测量单元IMU采集的运动信息按照扩展卡尔曼滤波算法进行融合，以获取初始位姿；

通过所述前端线程根据所述图像信息和所述初始位姿，确定初始局部地图；

通过后端线程按照预设的非线性优化算法对所述初始位姿和所述初始局部地图进行优化，以获取优化位姿和优化局部地图，所述前端线程与所述后端线程为并行执行的线程；

根据所述优化位姿和所述优化局部地图，更新目标初始位姿和目标初始局部地图，所述目标初始位姿为将第二时刻所述图像采集单元采集的图像信息和所述IMU采集的运动信息按照所述扩展卡尔曼滤波算法进行融合，获取的初始位姿，所述目标初始局部地图为根据所述第二时刻所述图像采集单元采集的图像信息和所述目标初始位姿确定的初始局部地图，所述第二时刻为获取所述优化位姿和所述优化局部地图的时刻；

所述通过所述前端线程根据所述图像信息和所述初始位姿，确定初始局部地图，包括：

将所述图像信息中满足预设条件的像素点确定为特征点；

根据所述特征点和所述初始位姿进行三维重建，以获取所述初始局部地图；

所述按照预设的非线性优化算法对所述初始位姿和所述初始局部地图进行优化，以获取优化位姿和优化局部地图，包括：

当所述图像信息为关键帧时，根据所述初始位姿、所述初始局部地图和所述第一时刻之前的预设数量个关键位姿信息建立目标函数，所述目标函数包括所述IMU的测量残差和所述图像采集单元的测量残差，所述关键位姿信息为所述第一时刻之前所述图像采集单元采集的历史图像信息为关键帧时，所述历史图像信息中包括的位姿信息，所述关键位姿信息还包括所述第一时刻之前所述图像采集单元采集的历史图像信息为关键帧时，所述IMU测量获得的速度和偏置量；

按照预设算法对所述目标函数进行迭代，以获取在所述目标函数最小的条件下对应的所述优化位姿和所述优化局部地图。

2.根据权利要求1所述的方法，其特征在于，所述将第一时刻图像采集单元采集的图像信息和惯性测量单元IMU采集的运动信息按照扩展卡尔曼滤波算法进行融合，以获取初始位姿，包括：

将所述运动信息和历史位姿作为IMU运动模型的输入，以获取所述IMU运动模型输出的预测位姿，所述历史位姿为将第三时刻所述图像采集单元采集的图像信息和所述IMU采集的运动信息按照所述扩展卡尔曼滤波算法进行融合，获取的初始位姿，所述第三时刻为所述第一时刻之前的时刻；

按照预设的图像处理算法处理所述图像信息，以获取所述图像信息中包括的视觉约束关系；

按照所述视觉约束关系对所述预测位姿进行更新，以获取所述初始位姿，所述视觉约束关系包括：重投影误差最小，或光度误差最小。

3.根据权利要求2所述的方法，其特征在于，所述根据所述优化位姿和所述优化局部地图，更新目标初始位姿和目标初始局部地图，包括：

将所述目标初始局部地图更新为所述优化局部地图；

当所述视觉约束关系为重投影误差最小时，将所述优化位姿和第二时刻之前的预设数量个关键位姿信息按照卡尔曼滤波算法进行融合，以将所述目标初始位姿更新为所述卡尔曼滤波算法输出的位姿，所述关键位姿信息为所述第二时刻之前所述图像采集单元采集的历史图像信息为关键帧时，所述历史图像信息中包括的位姿信息；

当所述视觉约束关系为光度误差最小时，获取所述初始位姿与所述优化位姿之间的偏移量；

根据所述偏移量更新所述目标初始位姿。

4.根据权利要求3所述的方法，其特征在于，所述根据所述优化位姿和所述优化局部地图，更新目标初始位姿和目标初始局部地图，还包括：

将更新后的所述目标初始局部地图存入全局地图。