[发明专利]一种视觉重定位方法及系统

说明书

本发明公开了一种视觉重定位方法，所述方法包括：对待定位图像进行匹配，获取与所述待定位图像匹配的候选图像组，其中，所述候选图像组包括候选图像和与所述候选图像对应的稠密深度图；基于所述候选图像组的位置姿态信息，确定所述待定位图像的参考位置姿态信息，并确定所述候选图像与所述待定位图像之间相同的各个特征点；在所述候选图像对应的稠密深度图中，根据各个所述特征点对应的三维坐标点，确定所述待定位图像的目标位置姿态信息。本发明还公开了一种视觉重定位系统。本发明可解决现有视觉定位方式定位精度不足，鲁棒性不足的问题。

技术领域

本发明涉及计算机视觉技术领域，具体而言，涉及一种视觉重定位方法及系统。

背景技术

视觉定位是室内定位中的一种，目前，视觉定位的方法主要有以下几种：

(1)基于双目或者深度摄像机的VSLAM定位，这种方案与激光SLAM类似，通过收集到的空间点云数据，能直接计算用户与障碍物的距离，从而构建实时的空间地图信息，或者在已知地图中进行定位。

(2)基于单目或者鱼眼相机的VSLAM方案，这种方案利用多帧图像来估计自身的位姿变化，再通过累计位姿变化来计算使用者距离物体的距离，并进行定位与地图构建。

(3)光流定位方案，通过进入摄像头的每帧画面中的光线变化，测量出的一个相对位置变化，从而得到物体相对运动的精确信息。

这些视觉定位的方法通常采用相对定位的方式，即给定初始位姿之后，通过算法测量相对于用户初始位姿的距离和方向，从而确定当前的位姿信息。然而在数字孪生环境中，尤其在使用低成本像素低的相机时，这些相对定位的方式，定位精度不足，鲁棒性较低。

发明内容

为解决定位精度不足，鲁棒性不足的问题，本发明的目的在于提供一种视觉重定位方法及系统。

本发明提供了一种视觉重定位方法，所述方法包括：

对待定位图像进行匹配，获取与所述待定位图像匹配的候选图像组，其中，所述候选图像组包括候选图像和与所述候选图像对应的稠密深度图；

基于所述候选图像组的位置姿态信息，确定所述待定位图像的参考位置姿态信息，并确定所述候选图像与所述待定位图像之间相同的各个特征点；

在所述候选图像对应的稠密深度图中，根据各个所述特征点对应的三维坐标点，确定所述待定位图像的目标位置姿态信息。

作为本发明进一步的改进，所述对待定位图像进行匹配，获取与所述待定位图像匹配的候选图像组，通过神经网络实现，所述方法还包括：根据数据集对所述神经网络进行训练。

作为本发明进一步的改进，所述神经网络包括：

第一网络，用于对输入图像进行特征提取，得到第一特征图；

第二网络，用于对所述第一特征图进行特征提取，得到第二特征图；

第三网络，用于对所述第一特征图进行局部特征提取，得到关键点和局部特征描述子；

第四网络，用于对所述第二特征图进行全局特征提取，得到全局特征描述子。

作为本发明进一步的改进，所述数据集包括多个样本图像组，各所述样本图像组包括位置姿态信息，所述方法还包括：获取所述多个样本图像组，

其中，所述获取所述多个样本图像组，包括：

获取待重建三维场景中激光雷达的三维点云数据和相机的RGB图像数据；

确定每帧图像在点云空间中的位置姿态信息；

获取所述待重建三维场景的完整点云；