[发明专利]基于深度信息的位姿确定方法、装置、介质与电子设备

说明书

本公开提供了一种基于深度信息的位姿确定方法、装置、存储介质与电子设备，属于计算机视觉技术领域。该方法包括：通过相机获取关于场景的当前帧图像，并获取当前帧图像的深度信息；从当前帧图像提取特征点，将深度信息有效的特征点确定为三维特征点，将深度信息无效的特征点确定为二维特征点；将二维特征点和三维特征点分别与场景的局部地图点进行匹配，以构建第一误差函数，第一误差函数包括二维误差项和三维误差项，二维误差项为匹配成功的二维特征点与局部地图点之间的误差，三维误差项为匹配成功的三维特征点与局部地图点之间的误差；通过计算第一误差函数的最小值，确定相机在当前帧的位姿参数。本公开可以提高SLAM中的跟踪精度。

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种基于深度信息的位姿确定方法、基于深度信息的位姿确定装置、计算机可读存储介质与电子设备。

背景技术

SLAM(Simultaneous Localization And Mapping，同时定位和建图)是通过终端设备在场景中移动并采集场景的图像，同时进行设备自身位姿的确定以及场景建模的一种方法，是AR(Augmented Reality，增强现实)、机器人等领域的基础技术。

现有的SLAM方法中，大多通过视觉信号单元(如相机)和IMU(InertiaMeasurement Unit，惯性测量单元)的对准，实时确定相机的位姿，从而将相机拍摄到的场景画面还原为场景模型。然而，该方法受到IMU精度以及延迟性的限制，在短时间内可以获得较为准确的位姿信息，长时间使用则会产生较为严重的漂移，导致无法对相机进行准确的跟踪，不利于场景建模。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供了一种基于深度信息的位姿确定方法、基于深度信息的位姿确定装置、计算机可读存储介质与电子设备，进而至少在一定程度上改善现有的SLAM方法中跟踪精度较低的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种基于深度信息的位姿确定方法，包括：通过相机获取关于场景的当前帧图像，并获取所述当前帧图像的深度信息；从所述当前帧图像提取特征点，将深度信息有效的特征点确定为三维特征点，将深度信息无效的特征点确定为二维特征点；将所述二维特征点和三维特征点分别与所述场景的局部地图点进行匹配，以构建第一误差函数，所述第一误差函数包括二维误差项和三维误差项，所述二维误差项为匹配成功的二维特征点与局部地图点之间的误差，所述三维误差项为匹配成功的三维特征点与局部地图点之间的误差；通过计算所述第一误差函数的最小值，确定所述相机在当前帧的位姿参数。

根据本公开的第二方面，提供一种基于深度信息的位姿确定装置，包括：图像获取模块，用于通过相机获取关于场景的当前帧图像，并获取所述当前帧图像的深度信息；特征点提取模块，用于从所述当前帧图像提取特征点，将深度信息有效的特征点确定为三维特征点，将深度信息无效的特征点确定为二维特征点；函数构建模块，用于将所述二维特征点和三维特征点分别与局部地图点进行匹配，以构建第一误差函数，所述第一误差函数包括二维误差项和三维误差项，所述二维误差项为匹配成功的二维特征点与局部地图点之间的误差，所述三维误差项为匹配成功的三维特征点与局部地图点之间的误差；位姿确定模块，用于通过计算所述第一误差函数的最小值，确定所述相机在当前帧的位姿参数。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种位姿确定方法。

根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一种位姿确定方法。

本公开具有以下有益效果：