[发明专利]一种基于生成对抗网络的复合降质图像高质量重建方法

权利要求书

1.一种基于生成对抗网络的复合降质图像高质量重建方法，其特征在于，本方法包括整体流程，离线部分和在线部分；

整体流程：首先设计了复合降质图像重建的处理流程；然后根据此流程设计了生成网络结构以及判别网络结构；最后将生成网络各阶段特征图尺寸调整，完成复合降质图像映射到重建图像；

离线部分：主要包括2个步骤：训练样本库生成；网络训练及模型获取；其中，训练样本库生成方法中包括训练样本获取的5个过程；网络模型训练及模型获取阶段包括判别网络、损失函数、梯度下降法的选取；

在线部分：主要包括3个步骤：特征提取；特征融合；图像重建；

所述的整体流程，具体步骤如下：

(1)复合降质图像重建流程主要包含图像重建与真假图像判别，对应地，网络结构包含图像生成网络与图像判别网络两个部分；

在图像重建中，输入为含有雾霾，系统噪声，低照度和压缩失真等影响因素下的图像，对其进行特征提取，特征融合，图像重建，输出重建后的高质量图像；

在真假图像判别中，输入为图像重建结果或高质量图像，对其进行判别，判别输入是否为复合预期的高质量图像，输出为输入满足预期高质量图像的概率，判别网络用于监督生成网络图像重建的质量与真实程度；

图像生成网络用于图像重建，图像判别网络用于图像判别，离线部分同时对两个图像生成网络和图像判别网络进行训练，在线使用时，只使用生成网络进行图像重建；

(2)网络结构包括两个部分：生成网络与判别网络；

生成网络结构包括14个卷积层，6个反卷积层，16个ELU激活模块；其中，在特征提取步骤中，由14个卷积层和11个ELU激活模块组成特征提取子模块，负责提取输入图像的高层语义特征信息；在图像重建步骤中，由6个反卷积层和5个ELU激活模块组成图像重建子模块，负责通过输入的特征信息对复合降质图像进行重建，图像重建子模块中没有加入池化层和全连接层，旨在保证输入特征图与输出特征图的尺寸一致；在特征融合步骤中，特征提取子模块的第3，6，11，12，13层卷积输出分别与图像重建子模块的第5，4，3，2，1层反卷积输出进行跳跃连接组成特征融合子模块，负责防止梯度消失与保留高层语义信息，加速神经网络的训练过程；判别网络包括5个卷积层，3个批归一化层，4个LeakyReLU激活模块，1个全连接层，负责判别输入满足预期高质量图像的概率；

卷积核的尺寸通过W×H描述，W，H分别表示卷积核的宽度与高度；图像的尺寸通过C×W×H描述，C，W，H分别表示图像的通道数，宽度与高度；

(3)在图像复原过程中，各个网络结构中的卷积层输入和输出特征图的变化如下：

在生成网络的特征提取过程中，输入图像大小为3×128×128，在第一个卷积层中，先经过32个3×3大小的卷积核，再经过ELU激活模块，得到大小为32×128×128的特征图；在第二个卷积层中，输入大小为32×128×128的特征图，先经过32个3×3大小的卷积核，再经过ELU激活模块，得到大小为32×128×128的特征图；在第三个卷积层中，输入大小为32×128×128的特征图，经过32个步长为2的3×3大小的卷积核，得到大小为32×64×64的特征图；在第四个卷积层中，输入大小为32×64×64的特征图，先经过64个3×3大小的卷积核，再经过ELU激活模块，得到大小为64×64×64的特征图；在第五个卷积层中，输入大小为64×64×64的特征图，先经过64个3×3大小的卷积核，再经过ELU激活模块，得到大小为64×64×64的特征图；在第六个卷积层中，输入大小为64×64×64的特征图，经过64个步长为2的3×3大小的卷积核，得到大小为64×32×32的特征图；在第七个卷积层中，输入大小为64×32×32的特征图，先经过128个3×3大小的卷积核，再经过ELU激活模块，得到大小为128×32×32的特征图；在第八个卷积层中，输入大小为128×32×32的特征图，先经过128个3×3大小的卷积核，再经过ELU激活模块，得到大小为128×32×32的特征图；在第九个卷积层中，输入大小为128×32×32的特征图，先经过128个3×3大小的卷积核，再经过ELU激活模块，得到大小为128×32×32的特征图；在第十个卷积层中，输入大小为128×32×32的特征图，先经过128个3×3大小的卷积核，再经过ELU激活模块，得到大小为128×32×32的特征图；在第十一个卷积层中，输入大小为128×32×32的特征图，经过128个步长为2的3×3大小的卷积核，得到大小为128×16×16的特征图；在第十二个卷积层中，输入大小为128×16×16的特征图，经过128个步长为2的3×3大小的卷积核，得到大小为128×8×8的特征图；在第十三个卷积层中，输入大小为128×8×8的特征图，先经过128个步长为2的3×3大小的卷积核，再经过ELU激活模块，得到大小为128×4×4的特征图；在第十四个卷积层中，输入大小为128×4×4的特征图，先经过128个步长为2的3×3大小的卷积核，再经过ELU激活模块，最终得到大小为128×1×1的特征图。