[发明专利]基于生成式对抗网络的统一场景视觉定位方法

说明书

本发明属于视觉定位领域，具体涉及一种基于生成式对抗网络的统一场景视觉定位方法、系统、装置，旨在解决现有视觉定位方法定位精度低、鲁棒性差的问题。本系统方法包括：获取查询图像并进行语义分割，得到语义标签图；将语义标签图与查询图像拼接并进行翻译；提取翻译后的查询图像的全局描述子、二维局部特征，并将翻译后的图像的全局描述子与图像库中的各图像的全局描述子进行匹配，得到候选图像；获取候选图像对应的三维模型，将二维局部特征与三维模型中候选图像确定范围内的三维点云进行匹配，得到二维‑三维匹配点对；计算查询图像对应的6自由度相机位姿。本发明可获得查询图像对应的高精度相机位姿，并可实现长时间跨度下的鲁棒视觉定位。

技术领域

本发明属于视觉定位领域，具体涉及一种基于生成式对抗网络的统一场景视觉定位方法、系统、装置。

背景技术

视觉定位是三维空间视觉领域的一项关键技术，其核心目标是在全局坐标系下估计相机的6自由度姿态。它的主要难点之一是如何应对查询图像和数据库图像在长时间跨度下的外观变化所带来的挑战。当前常见的视觉定位方法侧重于从图像中提取更鲁棒的特征来应对场景差异的影响。

现有主流的视觉定位方法主要有以下三种：

(1)基于结构的视觉定位；

(2)基于图像的视觉定位；

(3)基于学习的视觉定位；

其中，第(1)种方法侧重于将查询图像上的特征点与三维模型中存放的所有特征点直接匹配，参与运算的数据规模很大，且只考虑局部特征，很难对环境变化有良好的鲁棒性；第(2)种方法可分为两个阶段，早期的方法是利用提取的全局描述子进行检索，然后将检索到的最相似数据库图像的位姿作为查询图像的位姿，后来，为了提高定位精度，基于图像的方法逐渐演变为在三维模型包含的图像中搜索与查询图像最相似的几张候选图像，然后再对这些图像中包含的特征点进行匹配，利用得到的二维-三维匹配点对进行位姿计算。显然，第(1)、(2)种方法都严重依赖于对图像的特征提取，而这些特征在较长的时间跨度内变化很大。特别是在光照、天气或季节变化很大的具有挑战性的场景中应用时，对算法的鲁棒性有更高要求。第(3)种方法试图使用端到端方法直接回归相机姿态，但目前还无法达到与传统方法同等水平的精确度。鉴于此，本发明提出了一种基于生成式对抗网络的统一场景视觉定位方法。

发明内容

为了解决现有技术中的上述问题，即为了解决现有的视觉定位方法在长时间跨度下由于场景变化导致定位精度低、鲁棒性差的问题，本发明第一方面，提出了一种基于生成式对抗网络的统一场景视觉定位方法，该方法包括：

步骤S100，获取查询图像，并通过语义分割网络对该查询图像进行语义分割，得到语义标签图；

步骤S200，将所述语义标签图与所述查询图像拼接，并通过预训练的生成式对抗网络的生成器进行翻译，将翻译后的图像作为第一图像；

步骤S300，提取所述第一图像的全局描述子、二维局部特征；将所述第一图像的全局描述子分别与预设的图像库中的各图像的全局描述子进行匹配，得到候选图像；所述图像库为查询图像对应场景的图像经过语义分割、生成器翻译后存储的数据库；

步骤S400，获取候选图像对应预构建的三维模型；将二维局部特征与所述三维模型中候选图像确定范围内的三维点云进行匹配，得到二维-三维匹配点对；

步骤S500，基于各二维-三维匹配点对，通过PnP-RANSAC框架计算所述查询图像对应的6自由度相机位姿；

所述生成式对抗网络其在训练的过程中采用双向重建损失、循环一致性损失、对抗性损失进行优化；所述双向重建损失包括L1损失、MS-SSIM损失。

在一些优选的实施方式中，所述生成式对抗网络其训练方法为：