[发明专利]基于样式生成对抗网络的红外图像中舰船样本扩充方法

权利要求书

1.一种基于样式生成对抗网络的红外图像中舰船样本扩充方法，其特征在于，采用一种判别器和生成器交替训练的样式生成对抗网络，用随机特征向量对生成器的每一层分别进行调制的方法，实现由随机特征向量通过生成器输出红外图像舰船样本，进行扩充，该方法的具体步骤如下：

(1)获取训练集：

选取实拍至少2000张红外图像，每张图片均包含舰船目标；将每张图像的大小缩放裁剪为256×256，组成训练集；

(2)构建生成器网络：

(2a)搭建一个生成器网络，其结构依次为：常数矩阵层→第1噪声调制层→第1自适应样式调制层→第1反卷积层→第2噪声调制层→激活函数层→第2自适应样式调制层→样式卷积块组合→第2反卷积层→输出层；

所述自适应样式调制层结构依次为：特征向量输入层→归一化层→第1全连接层→第2全连接层→第3全连接层→第4全连接层→第5全连接层→第6全连接层→第7全连接层→第8全连接层→缩放平移变换层→输出层；

所述样式卷积块组合由6个相同结构的样式卷积块级联组成，每个样式卷积块的结构依次为：第1反卷积层→第1噪声调制层→第1激活函数层→第1自适应样式调制层→第2反卷积层→第2噪声调制层→第2激活函数层→第2自适应样式调制层；

所述归一化层采用实例归一化函数实现；；所述激活函数层均采用Leaky ReLU函数实现；

(2b)设置生成器网络的每层参数：

将第1反卷积层和第2反卷积层的每个卷积核大小均设置为3×3，卷积核的个数分别设置为512和3，卷积步长均设置为1，权重初始化为满足标准差为0.02正态分布的随机值；

将激活函数层的Leaky ReLU函数的斜率均设置为0.2；

将样式卷积块组合中的第1至第3样式卷积块的第1、第2反卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为512，卷积步长均设置为1；将第4样式卷积块中第1、第2反卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为256，卷积步长均设置为1；将第5样式卷积块中第1、第2反卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为128，卷积步长均设置为1；将第6样式卷积块中第1、第2反卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为64，卷积步长均设置为1；将第1至第6样式卷积块中每个反卷积层的每个卷积核的权重均初始化为满足标准差为0.02正态分布的随机值；将第1至第6样式卷积块中的激活函数层的每个Leaky ReLU函数的斜率均设置为0.2；

将自适应样式调制层中的第1至第8全连接层的神经元个数均设置为512，权重均初始化为满足标准差为0.02正态分布的随机值；

(3)构建判别器网络：

(3a)搭建一个判别器网络，其结构依次为：输入层→卷积层→激活函数层→卷积块组合→全连接层→输出层；

所述卷积块组合由6个相同结构的卷积块级联组成，每个卷积块的结构依次为：第1卷积层→第1激活函数层→第2卷积层→第1池化层→第2激活函数层；

所述激活函数层均采用Leaky ReLU函数实现，池化层采用全局平均池化实现；

(3b)设置判别器网络的每层参数：

将卷积层的卷积核大小均设置为3×3，卷积核的个数分别设置为512，卷积步长均设置为1，权重初始化为满足标准差为0.02正态分布的随机值；

将激活函数层的每个Leaky ReLU函数的斜率均设置为0.2；

将卷积块组合中第1、第2卷积块中的第1、第2卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为512，卷积步长均设置为1；将第3卷积块中第1、第2卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为256，卷积步长均设置为1；将第4卷积块中第1、第2卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为128，卷积步长均设置为1；将第5卷积块中第1、第2卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为64，卷积步长均设置为1；将第6卷积块中第1、第2卷积层的每个卷积核大小均设置为3×3，卷积核的个数均设置为32，卷积步长均设置为1；将第1至第6卷积块中每个卷积层的每个卷积核权重初始化为满足标准差为0.02正态分布的随机值；将第1至第6卷积块中的每个激活函数层的Leaky ReLU函数的斜率均设置为0.2；

将全连接层的神经元个数设置为1，权重初始化为满足标准差为0.02正态分布的随机值；

(4)构建样式生成对抗网络：

将生成器网络和判别器网络级联组成样式生成对抗网络；

(5)训练生成器网络：

固定生成器网络当前的权重参数，将随机生成的特征向量输入到生成器网络中，输出随机的红外图像，将生成的随机红外图像和训练集中的红外图像分别输入到判别器网络中，判别器网络对依次输入的红外图像评估后分别输出对应的评估分数，利用判别器网络的评估分数和判别器网络的损失函数计算判别器网络的损失值；

利用判别器网络的损失值和梯度下降法，计算判别器网络每个卷积层的每个卷积核的梯度、全连接层的梯度；

利用判别器网络每个卷积层的每个卷积核的梯度、全连接层的梯度，使用学习率为0.005的Adam优化器更新判别器网络每个卷积层和反卷积层的每个卷积核的权重、全连接层的权重；

(6)训练判别器网络：

固定判别器网络当前的权重参数，将随机生成的特征向量输入到生成器网络中，输出红外图像，将生成的随机红外图像输入到判别器网络中，判别器网络对输入的生成图像进行评估，输出评估分数，利用判别器的评估分数和生成器网络的损失函数计算生成器网络损失值；

利用生成器网络的损失值和梯度下降法，计算生成器网络每个反卷积层的每个卷积核的梯度、全连接层的梯度、调制噪声层的梯度、自适应样式调制层的梯度；

利用生成器网络每个反卷积层的每个卷积核的梯度、全连接层的梯度、调制噪声层的梯度、自适应样式调制层的梯度，使用学习率为0.005的Adam优化器迭代更新生成器网络每个反卷积层的每个卷积核的权重、全连接层的权重、调制噪声层的权重、自适应样式调制层的权重；

(7)训练样式生成对抗网络：

重复步骤(5)、(6)，对判别器网络和生成器网络进行交替训练，直到当前迭代获得的生成器网络的损失值小于20，且判决器网络的损失值均值小于10时，得到训练好的生成器网络权重，保存训练好的样式生成对抗网络中生成器网络的每个反卷积层的每个卷积核的权重、全连接层的权重、调制噪声层的权重、自适应样式调制层的权重；

(8)扩充红外图像样本：

将随机生成的特征向量输入到训练好的生成器网络中进行计算，输出包含舰船样本的红外图像，并将其添加到训练集中，完成对红外图像舰船样本的扩充。