[发明专利]一种提高海上场景仿真图片真实度的方法

说明书

本发明公开了一种提高海上场景仿真图片真实度的方法，本发明将仿真图的前景背景分割，分别采用传统的方法与深度学习方法CycleGAN两种算法进行风格迁移，实现了由仿真图到真实海上照片的转换。其中背景采用泊松融合加色彩转换的方法，将真实的海面照片作为子图，仿真图作为母图泊松融合后，再经过Reinhard色彩迁移，得到逼真的背景，前景采用CycleGAN算法，并对生成器的每一层卷积均点乘其掩码来提取前景部分，并在最后一层与输入层进行拼接，来保留原图的背景信息，从而生成完整的拥有真实风格的海面图片。本发明利用仿真软件构建海上场景，得到仿真图片后转为真实图片的风格，用于神经网络训练，解决样本稀缺的问题。

技术领域

本发明涉及一种提高海上场景仿真图片真实度的方法，涉及样本风格迁移、深度学习和神经网络领域。

背景技术

随着图像仿真技术的逐渐成熟，利用计算机对一些目标场景进行仿真变得越来越容易，且仿真效果也越来越真实，通过一些常见的仿真软件，如：3Dmax、Unity、UE4、Blender等即可很容易地获得各种场景的仿真图片。而在深度学习任务中，一些特殊场景下的样本往往不容易获取，如在进行海上目标的识别等任务时，通过物联网能够得到的照片数量有限且各种拍摄角度样本数量不均衡，通过真实拍摄构建数据集又会花费较大的人力物力，因此，一些研究者尝试将仿真图作为深度学习的样本用于神经网络的训练中，通过该方法可以轻松得到大量所需的难以获得的稀缺样本，且样本的各种信息在仿真软件中皆有显示，可以很容易且更加准确的进行标注。目前用仿真图片进行训练主要有两种方式：(1)直接用仿真图片进行训练，然后用迁移学习迁移到真实图上。(2)利用图像翻译算法将仿真图转为真实图的风格后进行训练。目前第一种迁移学习的方法比较常见，技术比较成熟。但是该方法并不能完全消除不同样本域之间的差异，所以一些研究者试图利用一些算法来将仿真图转化为更加逼真地图像，从而消除两个样本域之间的差异，直接使用转换后的图像来进行神经网络的训练。

发明内容

针对上述现有技术，本发明要解决的技术问题是提供一种提高海上场景仿真图片真实度的方法，可以利用仿真软件构建海上场景，得到仿真图片后转为真实图片的风格，从而用于神经网络的训练，解决样本稀缺的问题。

为解决上述技术问题，本发明的一种提高海上场景仿真图片真实度的方法，包括以下步骤：

步骤1：准备数据集，具体为：

准备三个数据集，包括：(1)海上场景仿真图片数据集Train_CG及其标签，要求标签将图片分割为天空，海面，前景目标三部分；(2)真实海面场景照片数据集Train_real及其标签，要求标签将照片分为前景、背景两部分；(3)没有目标的海面照片数据集Train_sea；

步骤2：从Train_sea中随机选取一张样本图片，利用区域增长算法对其进行分割；

步骤3：根据Train_CG的语义标签与Train_sea的分割结果对其进行海天线检测，具体为：从Train_CG与Train_sea中各随机选出一张图片，并对两者分割图中海面部分与天空部分的接触点进行多次采样，得到一组采样点样本，并去除其中的噪声点，之后将样本坐标送入一维线性分类器中进行训练，得到拟合的直线，该直线即检测得到的海天线；

步骤4：根据检测得到的海天线将挑选的两张图片进行对齐，具体为：

首先根据两张图片中检测得到的海天线的斜率，将Train_sea中挑选的海面图片进行相应的旋转，使其斜率保持一致，之后将两张图片的海天线位置对齐，并调整海面图片的大小，将超出仿真图的部分裁剪掉，得到两张海天线位于同一位置，且大小相同的仿真图CG与海面照片Sea；

步骤5：将步骤4得到的仿真图CG与海面照片Sea进行背景部分泊松融合，具体为：