[发明专利]一种前景和背景关联共生的红外图像迭代生成方法

权利要求书

1.一种前景和背景关联共生的红外图像迭代生成的方法，包括：

步骤1，采集训练图像，获得红外图像数据集。由于公开的空中弱小目标红外图像数据集较少，本专利所述的数据来源包括：部分真实红外图像(如SIRST等公开数据集)，通过缩比模型实地采集仿真数据，以及对空中弱小目标可见光图像进行显著性检测后的显著性图来近似替代。所述的训练图像数据集用于训练各个生成网络模型。本发明对图像根据不同环境类型定义不同领域(domain)，即同一环境条件下(如天气、云层条件等)的红外目标图像定义为同一个domain。

步骤2，训练用于生成前景目标区域的多态无监督图像到图像转换模型(MUNIT，Multimodal Unsupervised Image-to-Image Translation)。MUNIT模型实现领域1的图像到领域2的图像的风格迁移转换。MUNIT的训练需要两个自编码器，分别对应领域1和领域2。两个自编码器都需要在各自的领域中进行训练，保证同一张图片可以还原出相似的图片；

步骤3，构建MUNIT生成“多态”的空中弱小目标的前景图片。MUNIT在无监督图像转换模型UNIT的共享隐变量(latent code)基础上，假设该共享隐变量由内容编码c和风格编码s共同构成。对于空中弱小目标，内容编码的含义接近于图片中物体的初级特征信息，比如朝向，边缘等。而风格则描述图片中物体的一些高级属性，如颜色、纹理、样式等。给定某个红外弱小目标图像，截取红外目标所在的矩形闭包区域，作为目标前景区域；

步骤4，图像的风格编码满足一个高斯分布，图像的不同风格就是高斯分布的一些数据。在共享内容编码的情况下，固定领域1中图像1的目标前景区域的内容编码c₁，结合领域2中图像2的风格编码s₂，再通过解码器生成新的图片，实现从领域1生成领域2样式的图片x_1→2。因此在生成图片时，MUNIT将同一个内容c和不同的风格s组合并编码输出，就可以得到多态的空中弱小目标的前景图片；

步骤5，以级联方式逐步迭代生成科学共生的多样化背景。通过步骤4所述的过程生成某个给定红外图像中红外弱小目标的多态图像区域后，选择无监督循环对抗生成网络CycleGAN(Cycle Generative Adversarial Network)逐步迭代扩展生成跟原始图像大小一致的完整空中小目标红外图像。

步骤6，CycleGAN中生成器的训练。原始无背景的红外图像通过生成器学习背景的数据分布。经过卷积下采样得到特征向量，特征向量经过多层卷积层后通过转置卷积后生成结果图像。Z随机变量在生成器G中控制属性，使得生成结果不唯一，保证输出结果多样化；

步骤7，对于生成器生成的结果图片，与真实的风格图片进行判别。判别器D_B鼓励生成器G_AB中将A的图像翻译为具有B风格的图像；

步骤8，为确保生成器不会将一个领域的图像转换成另一个和原始图像完全不相关的领域，计算循环一致性损失函数，监督模型的训练。

2.根据权利要求1所述的一种前景和背景关联共生的红外图像迭代生成的方法，其特征在于，步骤1中所述的针对显著性检测生成近似替代的空中弱小目标红外数据，采用改进的残差谱SR(Spectral Residual)算法得到显著性图。空中弱小目标背景往往是由天空和云层等元素构成，而原SR算法检测空中弱小目标时，云天边缘部分往往被检测出来，从而对结果造成一定干扰。因此，找出天空和云的明显边缘后，对该类边缘进行抑制来得到更好的显著性检测结果。

3.根据权利要求1所述的一种前景和背景关联共生的红外图像迭代生成的方法，其特征在于，步骤4中交叉领域生成的图像必须与内部本身领域生成的图片无法区分，所以必须考虑对抗损失，生成具有领域1内容且领域2样式的图片对抗损失函数：

4.根据权利要求1所述的一种前景和背景关联共生的红外图像迭代生成的方法，其特征在于，步骤5中，CycleGAN对应的图像变换的两个域分别为：完整包含前景目标区域的真实红外图像,以及相同大小的包含前景目标区域但背景区域为0像素填充的共生红外图像。因为CycleGAN可以实现两个域之间的相互转换，本专利主要利用从共生红外图像到真实红外图像的转换。