[发明专利]一种基于条件生成对抗网络的动态到静态场景转换方法

说明书

本发明涉及一种基于条件生成对抗网络的动态到静态场景转换方法，该方法生成器为由粗到细的串级两阶段网络，判别器为PatchGAN与SN‑PatchGAN。本发明根据粗网络输出结果与动态场景的像素值差异推断动态区域二值掩膜，随后由细网络对动态区域进行静态恢复。本发明提取细网络编码区的深层与浅层特征后，分别采用上下文注意力机制来优化动态区域场景生成。本发明采用的判别器相较于传统判别器更能关注到图像细节且训练过程更为稳定。本发明相比于传统动态到静态场景转换方法，提取的动态目标区域更为准确，生成的动态场景图像纹理丰富、更接近真实情况。

技术领域

本发明涉及一种转换方法，具体涉及一种基于条件生成对抗网络的动态到静态场景转换方法，属于深度学习与图像生成技术领域。

背景技术

动态场景给基于视觉的机器人的位姿估计以及定位任务提出了较高的挑战。传统的解决方案是利用动态目标检测技术来区分图像区域的有效性，通过舍弃动态区域信息，仅利用静态区域进行位姿估计或定位。然而，当动态目标区域检测不准确或动态区域过大时，这种方法将导致有效信息不准确或太少，继而导致位姿估计或定位误差增大。为了改善这个现象，动态到静态场景转换方法被提出(Bescos B,Neira J,Siegwart R,et al.EmptyCities:Image Inpainting for a Dynamic-Object-Invariant Space[C].ICRA,2019)。其核心思想为，根据动态场景图像的内容推测其对应的静态场景图像。由于深度学习技术的发展，特别是图像生成领域的发展，使得这种转换成为可能。现有转换方法是利用条件生成对抗网络(P.Isola,J.-Y.Zhu,T.Zhou,and A.A.Efros.Image-to-image translationwith conditional adversarial networks[C].CVPR,2017)，然而这种方法将生成静态场景图像的所有像素，尽管可以做到整张图像与真实图像平均像素误差较小，但由于均值的影响导致该方法在图像纹理与细节方面表现较差，而在机器人位姿估计与定位任务中图像细节与纹理信息却尤为重要。

发明内容

本发明正是针对现有技术中存在的问题，提供一种基于条件生成对抗网络的动态到静态场景转换方法，该技术方案可以提高图像动态区域的识别准确性以及图像场景转换的精度与语义一致性。

为了实现上述目的，本发明的技术方案如下，一种基于条件生成对抗网络的动态到静态场景转化方法，包括如下步骤：

步骤1，利用RGB相机采集到的城镇场景下相同位置的动态与静态两个场景的图像并裁剪、缩放至指定尺寸，利用标注的方法获得动态场景中动态目标，包括行人、车辆的二值掩膜。

步骤2，构建条件生成网络，生成器是由粗到细的两部分卷积神经网络(Coarse tofine Network)构成，粗粒度生成网络(以下简称粗网络)是遵循U-Net模型结构的全卷积神经网络，细粒度生成网络(以下简称细网络)是含有上下文注意力机制的全卷积神经网络；判别器采用图像块判别器(PatchGAN)与谱归一化判别器(SN-PatchGAN)，其中粗网络生成图像输入PatchGAN判别器，细网络生成结果输入SN-PatchGAN判别器。

步骤3，利用采集的城镇场景的动态场景、静态场景、动态目标掩膜训练上述条件生成对抗神经网络。

步骤4，将转换的动态场景裁剪，缩放至指定尺寸，输入训练好的条件生成对抗网络，获得条件生成对抗网络的生成器输出的与动态场景相对应的静态场景。