[发明专利]基于生成对抗网络的RPGAN图像超分辨率重建方法

权利要求书

1.基于生成对抗网络的RPGAN图像超分辨率重建方法，其特征在于：该方法包括：

1)设计RPGAN的生成器模型；

2)设计RPGAN的鉴别器模型；

3)设计感知损失计算方案；

4)完成对RPGAN模型的训练；

5)实现图像分辨率的提升、参数量降低以及训练时间的缩短；

使用基于递归和图像块思想改进生成对抗网络，完成超分辨率的重建；低分辨率(LR)图像通过生成器子网络G产生对应的高分辨率(HR)图像，鉴别器子网络D用于分辨输入的图像是生成的HR图像还是真实高清图像，通过优化子网络G和D提升整个模型的超分辨率重建效果；其价值函数如式(1)所示：

式中I^LR代表训练集中的LR图像，I^HR代表训练集中对应的HR图像，G(I^LR)代表生成器生成的HR图像；G(I^LR)和I^HR共同输入到鉴别器中，D(G(I^LR))代表G(I^LR)被鉴别为真实图像的概率，D(I^HR)代表I^HR被鉴别为真实图像的概率；

基于递归块的生成器模型，具体网络结构为：

生成器网络包含6个残差单元，各残差单元使用递归块结构与生成器的首个卷积层连接；每个残差单元拥有实现残差学习的跳跃连接，包含2个ConvLayer；ConvLayer的内部结构首先为批量归一化层，通过归一化层来归一化特征图的参数，避免因样本间的差异过大引发训练的过拟合问题；然后进入的是ReLU函数激活层，将特征图中的负值置为0，让特征图变得稀疏，提升计算的效率；最后是卷积核大小为3×3的卷积层，这样的一个整体就构成一层ConvLayer结构；

整个基于递归块的生成器的第一个卷积层使用的是7×7卷积核，以获得图像更多的特征信息，随后接入到递归块结构中；整个递归块结构没有对图像进行伸缩操作，所有的特征图尺寸大小均与输入的低分辨率图像保持一致，所有的卷积操作均对图像的周边进行补零(padding)，使卷积前后图像的大小不变；递归块结构只负责对特征的非线性映射，其后的上采样达成增大图像尺寸的目的；

基于图像块的鉴别器模型，由l个卷积层组成，均使用k×k的卷积核；前l-2个卷积层stride值为2，padding值为1，图像每经过1个卷积层大小变为原来的1/2；最后2个卷积层stride值为1，padding值为3，图像在完成卷积后大小不变，最后的卷积层输出通道数为1，使得该鉴别器的输出是1个N×N×1的矩阵特征图，也就是1个N×N的概率矩阵，矩阵中的每1个数对应的是输入鉴别器的图像中1块图像区域是否为真实高分辨率图像的概率；将N×N矩阵中所有数的均值，作为整个输入图像为真实高分辨率图像的概率。

2.根据权利要求1所述的基于生成对抗网络的RPGAN图像超分辨率重建方法，其特征在于：利用ReLU激活函数层层前特征计算RPGAN的感知损失，其具体计算方法为

使用感知损失评价RPGAN生成器网络G的性能，它是由内容损失和对抗损失加权求和所得；对抗损失在生成器和鉴别器的对抗中产生，用于生成器和鉴别器的参数优化；内容损失使用预训练VGG19网络中的第35层的特征作为条件，计算生成器生成的图像G(I^LR)与对应的高分辨率图像I^HR的特征表示，使二者的欧氏距离为该模型的内容损失，其计算方法如公式(2)所示：

其中，φ₃₅代表输入图像经VGG19网络获取第35层特征图的运算，W和H代表取得的特征图的尺寸。

3.根据权利要求1所述的基于生成对抗网络的RPGAN图像超分辨率重建方法，其特征在于：RPGAN模型训练过程为

步骤一：获取低分辨率训练图像；

对HR图像进行双三次下采样，得到对应的LR图像，然后使用随机裁剪方法增加模型的稳定性；

步骤二：使用生成器生成超分辨率图像；

LR图像作为输入进入到生成器中，输出生成的SR图像；

步骤三：计算损失函数值；

将HR图像、SR图像一同输入到鉴别器中进行鉴别，得到相应的损失函数值；

步骤四：更新生成器和鉴别器的网络；

依据损失函数值对生成器和鉴别器进行反向传播，更新生成器和鉴别器的网络参数；

步骤五：重复步骤二、三和四直至RPGAN模型收敛，完成对RPGAN模型的训练。