[发明专利]基于样式生成对抗网络的红外图像中舰船样本扩充方法

说明书

本发明提供了一种基于样式生成对抗网络的红外图像中舰船样本扩充方法。主要解决现有技术生成红外图像由于仿真建模复杂导致真实性较差，可见光‑红外图像光电转换训练样本获取难度大、训练集数量少导致扩充的红外图像缺乏多样性的问题，本发明的步骤如下：(1)选取实拍红外图像组成训练集；(2)构建生成器网络；(3)构建判别器网络；(4)构建样式生成对抗网络；(5)训练判别器网络；(6)训练生成器网络；(7)训练样式生成对抗网络；(8)使用训练好的生成器网络输出红外图像样本，完成红外图像样本扩充。本发明能够大量生成红外舰船样本，有效地提高了扩充样本的真实感和多样性。

技术领域

本发明属于图像处理技术领域，进一步涉及深度学习领域中的一种基于样式生成对抗网络styleGAN(style-based Generative Adversarial Network)的红外图像中舰船样本扩充方法。本发明可对红外图像中舰船样本进行扩充，以便为红外目标检测与识别算法的训练提供丰富的数据集。

背景技术

红外成像技术由于其目标探测能力强、抗干扰能力强等特点，常用于目标的检测、识别和跟踪等方面。由于目标的红外特性复杂，随温度条件变化明显，实现红外目标的探测与识别比较困难，为了提高探测与识别红外目标的能力，一般需要大量红外图像对探测与识别算法进行训练学习。然而红外图像通常是通过热像仪对目标场景进行拍摄得到，因此获取一些特定目标红外图像的手段受限，从而导致了红外样本数量的严重不足。目前已有研究人员提出了基于红外仿真的样本扩充方法，通过对目标区域场景进行建模以及辐射计算生成红外仿真图像，然而由于建模所需目标信息可能受到限制，导致生成的红外图像真实感不高、数量有限。

北京机电工程研究所在其申请的专利文献“基于红外仿真的目标样本生成方法”(2018105060882，CN110162812A)中提出了一种基于红外仿真的目标样本生成方法。该方法对目标区域场景进行建模，完成目标场景的区域划分和材质赋值，生成目标区场景的材质图像，根据材质图像、目标区场景的模型以及目标区场景的数据构建出目标区场景的三维场景，然后设置目标区场景的外部环境条件，进行目标区场景的温度场、红外辐射以及大气透过率计算以生成目标区场景的零视距下的红外仿真场景，在目标区红外仿真场景的基础上，根据视距参数以及成像系统参数生成红外仿真目标样本。该方法存在的不足之处是：需要对目标区域场景的外部环境进行辐射计算。辐射计算虽能解决红外仿真图像生成的问题，但在复杂的外部环境中，需考虑的因素繁多、建模过程较为复杂，导致仿真结果真实感较差，无法准确地获得所需目标场景的红外样本。

陈佛计等人在其发表的论文“基于生成对抗网络的红外图像数据增强”(计算机应用,2020:1-7)中提出了一种基于光电图像转换模型的可见光图像生成红外图像的样本扩充方法。该方法首先通过现有的可见光图像和红外图像数据构建成对的数据集，随后基于卷积神经网络构成生成对抗网络的生成器和判别器。随后使用成对的数据集来训练生成对抗网络，直到生成器和判别器之间达到均衡状态。最后，该方法使用训练完成的生成对抗网络的生成器来将可见光图像从可见光域变换到红外域，从而完成红外图像的样本扩充。该方法存在的不足之处是：需要采集成对的可见光图像和对应的红外图像作为数据集对生成对抗网络进行训练，成对的可见光-红外图像数据获取难度大，训练集数量较少，导致生成的红外图像样本缺乏多样性；且在扩充红外图像样本时，仍需收集大量额外的可见光图像作为输入进行光电转换，扩充方式较为复杂，且扩充的样本数量受限。

发明内容

本发明的目的在于针对上述现有技术的不足，提出了一种基于样式生成对抗网络的红外图像中舰船样本扩充方法，旨在解决扩充红外图像样本时仿真过程复杂，扩充的红外样本真实感较差，可见光到红外的光电转换方法训练集获取难度大，扩充红外样本缺乏多样性，扩充数量有限的问题。