[发明专利]一种引入显著性的GAN图像超分辨率方法

权利要求书

1.一种引入显著性的GAN图像超分辨率方法，其特征在于，该方法包括以下步骤：

S1：将低质量图像输入GAN网络，利用生成器生成伪高质量图像，其中，生成器包括图像特征提取网络和显著性预测网络；

所述图像特征提取网络包括38个卷积层，其中，有36个卷积层采取的是残差结构；所述残差结构是将输入特征x与输出特征H(x)相加作为最后的输出结果，再进行下一个残差块结构；

所述显著性预测网络选取DeepFixNet，含有8个卷积层，通过卷积层层层抽取图像的特征，最终得到图像的显著图；

利用生成器生成伪高质量图像过程中，首先，调整图像特征提取网络和显著性预测网络的卷积层中stride参数与pooling层中采样的参数，使得图像特征图与显著特征图在通道数、图像尺寸大小保持一致；然后，在残差结构的最后一层输出与DeepFixNet的卷积层的最后一层输出，图像特征图与显著特征图采用点乘的方式进行融合，具体表达式为：

其中，Fusion表示融合特征图，I_feat(i,j)表示图像特征图，I_sal(i,j)表示显著特征图，(i,j)表示图像像素点位置，M、N表示图像的长宽；

最后，融合后的图像经过一层卷积层与一层反卷积层得到伪高质量图像；

GAN网络采用交替训练的方式对模型进行训练；首先，训练整个GAN网络，其次固定判别器，训练生成器；整个GAN网络是一个最小最大优化问题，表达式为：

其中，G表示生成器，D表示判别器，E[·]表示交叉熵损失均值；最小最大优化目标即分别优化D与G；对于D而言，V(D,G)为分类中常见的交叉熵损失；对于G而言，最小化1-D(G(z))即生成器生成的伪高质量图像使得判别器D无法区分出它的真伪；

S2：利用判别器区分出伪高质量图像和真正的高质量图像。

2.根据权利要求1所述的一种引入显著性的GAN图像超分辨率方法，其特征在于，步骤S1中，生成器利用MSE loss约束方式来缩小生成的伪高质量图像与原始高质量图像之间的差距，根据loss的数值不断调整参数的变化方向，使得生成的伪高质量图像越来越清楚；其中MSEloss约束的表达式为：

其中，M、N表示图像的长宽；MSE表示均方误差，gnd(i,j)表示原始高清图像，out(i,j)表示伪高质量图像。

3.根据权利要求1所述的一种引入显著性的GAN图像超分辨率方法，其特征在于，步骤S2中，判别器选择ResNet10网络来进行判别；输入样本分别为生成器生成的伪高质量图像和原始高质量图像；ResNet10的采取SoftMaxloss约束，表达式为：

其中，T表示图像类别数，y是一个T维向量，表示第j幅图像属于的类别；s_j表示第j个向量属于第j个类别的概率值。