[发明专利]基于生成式对抗网络的统一场景视觉定位方法

权利要求书

1.一种基于生成式对抗网络的统一场景视觉定位方法，其特征在于，该方法包括：

步骤S100，获取查询图像，并通过语义分割网络对该查询图像进行语义分割，得到语义标签图；

步骤S200，将所述语义标签图与所述查询图像拼接，并通过预训练的生成式对抗网络的生成器进行翻译，将翻译后的图像作为第一图像；

步骤S300，提取所述第一图像的全局描述子、二维局部特征；将所述第一图像的全局描述子分别与预设的图像库中的各图像的全局描述子进行匹配，得到候选图像；所述图像库为查询图像对应场景的图像经过语义分割、生成器翻译后存储的数据库；

步骤S400，获取候选图像对应预构建的三维模型；将二维局部特征与所述三维模型中候选图像确定范围内的三维点云进行匹配，得到二维-三维匹配点对；

步骤S500，基于各二维-三维匹配点对，通过PnP-RANSAC框架计算所述查询图像对应的6自由度相机位姿；

所述生成式对抗网络其在训练的过程中采用双向重建损失、循环一致性损失、对抗性损失进行优化；所述双向重建损失包括L1损失、MS-SSIM损失；

所述生成式对抗网络其训练方法为：

获取训练样本集；所述训练样本集包括查询图像、数据库图像；所述数据库图像为查询图像对应场景的图像；

对所述查询图像、所述数据库图像，分别通过语义分割网络对其进行语义分割，并与其本身进行拼接；将拼接后的查询图像作为第二图像，将拼接后的数据库图像作为第三图像；

通过生成式对抗网络的生成器将第二图像、第三图像分别分解为内容编码、风格编码；

将第二图像的风格编码、内容编码与第三图像的风格编码、内容编码进行重组后解码；基于解码后的图像，通过生成式对抗网络的判别器获取其对应的损失值，并对网络参数进行更新。

2.根据权利要求1所述的基于生成式对抗网络的统一场景视觉定位方法，其特征在于，所述生成式对抗网络其损失值的计算方法为：

其中，E_A是X_A域的编码器，E_B是X_B域的编码器，G_A是X_A域的解码器，G_B是X_B域的解码器，D_A是试图区分X_A中翻译图像和真实图像的判别器，D_B是试图区分X_B中翻译图像和真实图像的判别器，表示网络在X_A域的对抗性损失值，表示网络在X_B域的对抗性损失值，L_cyc表示将X_A、X_B域中的图像分别翻译到对方域，再翻译回原域后，翻译图像相对于原图像的重建损失值，表示X_A域中的图像x_A经编码-解码操作后相对于原图像的重建损失值，表示X_B域中的图像x_B经编码-解码操作后相对于原图像的重建损失值，表示X_A域中的内容编码c_A经解码-编码操作后相对于原内容编码的重建损失值，表示X_B域中的内容编码c_B经解码-编码操作后相对于原内容编码的重建损失值，表示X_A域中的风格编码s_A经解码-编码操作后相对于原风格编码的重建损失值，表示X_B域中的风格编码s_B经解码-编码操作后相对于原风格编码的重建损失值，λ_cyc、λ_x、λ_c、λ_s分别表示各损失函数对应的权重，X_A表示查询图像在生成器中对应的场景，X_B表示数据库图像在生成器中对应的场景。

3.根据权利要求1所述的基于生成式对抗网络的统一场景视觉定位方法，其特征在于，所述二维局部特征其通过Superpoint提取。