[发明专利]即时定位与地图构建的优化方法及装置、介质和电子设备

权利要求书

1.一种即时定位与地图构建的优化方法，其特征在于，包括：

提取当前帧图像的视觉特征点，并确定所述视觉特征点中与所述当前帧图像的深度信息不相关联的特征点，作为单目特征点；

如果所述当前帧图像与参考帧图像之间匹配的视觉特征点的数量大于预设匹配阈值，则在视觉特征与惯性特征对齐时，利用由单目特征点信息构建的第一约束条件以及由惯性信息构建的第二约束条件对所述当前帧图像的位姿进行优化，得到中间位姿参数；

利用所述当前帧图像的深度信息和所述参考帧图像的深度信息对所述中间位姿参数进行优化，以确定所述当前帧图像的位姿参数。

2.根据权利要求1所述的即时定位与地图构建的优化方法，其特征在于，所述即时定位与地图构建的优化方法还包括：

如果所述当前帧图像与参考帧图像之间匹配的视觉特征点的数量不大于所述预设匹配阈值，则执行以下重定位过程：

计算所述当前帧图像的词袋向量；

基于所述当前帧图像的词袋向量从关键帧数据库中确定出多个候选图像；

确定各所述候选图像中与所述当前帧图像的视觉特征点匹配的视觉特征点；

利用与所述当前帧图像的视觉特征点匹配的视觉特征点计算所述当前帧图像的位姿，并根据计算结果从所述多个候选图像中确定目标图像；

基于所述目标图像的视觉特征点与所述当前帧图像的视觉特征点优化所述当前帧图像的位姿。

3.根据权利要求1所述的即时定位与地图构建的优化方法，其特征在于，所述即时定位与地图构建的优化方法还包括：

获取所述当前帧图像的深度信息；

基于预先标定的外参矩阵确定所述视觉特征点与所述深度信息是否相关联；

其中，将所述视觉特征点中与所述深度信息相关联的特征点确定为立体特征点。

4.根据权利要求3所述的即时定位与地图构建的优化方法，其特征在于，所述即时定位与地图构建的优化方法还包括：

在视觉特征与惯性特征未对齐时，基于运动速度恒定模型预测所述当前帧图像的位姿，并将单目特征点信息以及立体特征点信息作为约束条件对预测的所述当前帧图像的位姿进行优化。

5.根据权利要求1所述的即时定位与地图构建的优化方法，其特征在于，利用由单目特征点信息构建的第一约束条件对所述当前帧图像的位姿进行优化包括：

对所述当前帧图像的单目特征点信息和所述参考帧图像的单目特征点信息进行三角化处理，以分别确定所述当前帧图像和所述参考帧图像基于单目特征点的空间三维信息；

计算所述当前帧图像和所述参考帧图像基于单目特征点的空间三维信息的重投影误差，以对所述当前帧图像的位姿进行优化。

6.根据权利要求3所述的即时定位与地图构建的优化方法，其特征在于，所述即时定位与地图构建的优化方法还包括：

预先提取一输入图像的视觉特征点，并确定所述输入图像的单目特征点和立体特征点；

将所述输入图像的视觉特征点的数量与第一预设阈值进行比较，并将所述输入图像的立体特征点的数量与第二预设阈值进行比较；

如果所述输入图像的视觉特征点的数量大于所述第一预设阈值，并且所述输入图像的立体特征点的数量大于所述第二预设阈值，则将所述输入图像作为所述参考帧图像。

7.根据权利要求1所述的即时定位与地图构建的优化方法，其特征在于，利用所述当前帧图像的深度信息和所述参考帧图像的深度信息对所述中间位姿参数进行优化包括：

基于所述中间位姿参数，确定所述当前帧图像的深度信息对应的点云地图作为第一点云地图，并确定所述参考帧图像的深度信息对应的点云地图作为第二点云地图；

提取所述第一点云地图和所述第二点云地图的几何特征点，并确定所述第一点云地图与所述第二点云地图之间匹配的几何特征点；

利用所述匹配的几何特征点的信息构建第三约束条件，并利用所述第三约束条件对所述中间位姿参数进行优化。