[发明专利]基于循环多尺度生成对抗网络的图像盲去运动模糊方法

摘要

本发明公开了一种基于循环多尺度生成对抗网络的图像盲去运动模糊方法。本发明方法以循环多尺度编码器和解码器作为生成器，并构建了相应的判决器。以生成图像和清晰图像的对抗性损失、多尺度均方误差和多尺度梯度误差作为生成对抗网络的损失函数，以梯度下降法优化损失函数。本发明运用生成对抗网络学习运动模糊图像与其对应清晰图像之间的关系，省去了复杂的模糊核估计过程。本发明方法可以提取图像的边缘特征，具有更简单的网络结构、更少的参数，并且该网络模型更容易训练，且复原效果较好。

主权项

1.基于循环多尺度生成对抗网络的图像盲去运动模糊方法，其特征在于具体步骤是：步骤(1).构建判别器D：所述的判别器D由九个卷积层、一个全连接层和一个Sigmoid激活层组成，输入大小为256×256的彩色图像；每个卷积层均采用LeakyReLU作为激活函数：第一层有32个卷积核，每个卷积核尺寸为5×5，步长为2，填零宽度为2；第二层有64个卷积核，每个卷积核尺寸为5×5，步长为1，填零宽度为2；第三层有64个卷积核，每个卷积核尺寸为5×5，步长为2，填零宽度为2；第四层有128个卷积核，每个卷积核尺寸为5×5，步长为1，填零宽度为2；第五层有128个卷积核，每个卷积核尺寸为5×5，步长为4，填零宽度为2；第六层有256个卷积核，每个卷积核尺寸为5×5，步长为1，填零宽度为2；第七层有256个卷积核，每个卷积核尺寸为5×5，步长为4，填零宽度为2；第八层有512个卷积核，每个卷积核尺寸为5×5，步长为1，填零宽度为2；第九层有512个卷积核，每个卷积核尺寸为4×4，步长为4，填零宽度为0；最后一层的卷积输出经输入通道数为512、输出通道数为1的全连接层，得到1个常数，经Sigmoid函数激活后输出判定的概率；步骤(2).构建生成器G：所述的生成器G包含级联的三个尺度的子网络，每个子网络包含1个输入模块、2个编码模块、级联1个卷积长短时记忆模块、2个解码模块和1个输出模块；每个模块中都含有残差模块，所述的残差模块由一个卷积层级联一个卷积核组成，卷积层以改进型线性单元ReLU作为激活函数；残差模块中级联的卷积核的输出和残差模块的输入相加后即为残差模块的输出；所述的输入模块包括一个独立的卷积层和三个结构相同的残差模块，独立的卷积层以及残差模块的卷积层卷积核的核数量为32、大小为5×5、步长为1、填零宽度为2，独立的卷积层中使用改进型线性单元ReLU作为激活函数；第一编码模块包括一个独立的卷积层和三个结构相同的残差模块，独立的卷积层以及残差模块的卷积层卷积核的数量为64、大小为5×5、步长为2、填零宽度为2，独立的卷积层中使用改进型线性单元ReLU作为激活函数；第二编码模块包括一个独立的卷积层和三个结构相同的残差模块，独立的卷积层以及残差模块的卷积层卷积核的数量为128、大小为5×5、步长为2、填零宽度为2，独立的卷积层中使用改进型线性单元ReLU作为激活函数；所述的卷积长短时记忆模块中记忆细胞状态输出作为解码模块的输入，卷积长短时记忆模块的隐藏状态输出与下一尺度子网络中卷积长短时记忆模块的隐藏状态输入相连；对于最后一个尺度，卷积长短时记忆模块隐藏状态输出不与其他模块连接；第一解码模块包括三个结构相同的残差模块和一个独立的卷积层，独立的卷积层以及残差模块的卷积层卷积核的数量为128、大小为5×5、步长为2、填零宽度为2，残差模块后级联的独立的卷积层中使用改进型线性单元ReLU作为激活函数；第二解码模块包括三个结构相同的残差模块和一个独立的卷积层，独立的卷积层以及残差模块的卷积层卷积核的数量为64、大小为5×5、步长为2、填零宽度为2，残差模块后级联的独立的卷积层中使用改进型线性单元ReLU作为激活函数；所述的输出模块包括三个结构相同的残差模块和一个独立的卷积层，独立的卷积层以及残差模块的卷积层卷积核的数量为32、大小为5×5、步长为1、填零宽度为2，残差模块后级联的独立的卷积层中使用改进型线性单元ReLU作为激活函数；输出第三级尺度的生成器输出图像L³，大小为64×64，L³经上采样得到尺寸为128×128的图像，作为第二级尺度的输入，输出128×128的第二级尺度的生成器输出图像L²；L²经上采样得到尺寸为256×256的图像作为第一级尺度的输入，输出256×256的第一级尺度的生成器输出图像L¹，即为去模糊的结果图像；步骤(3).从训练数据集T中随机抽取m张模糊图像和对应的清晰图像，并随机裁剪成256×256的方形区域，分别组成用于训练的模糊图像集B和对应的清晰图像集S，得到的B和S的图像数量均为m张，每张图像均为256×256的3通道彩色图像；将模糊图像集B输入生成器，得到生成器输出图像集L，L中有m张尺寸大小为256×256的彩色图像；步骤(4).将生成器输出图像集L和对应的清晰图像集S依次作为判别器的输入，判别器依次输出两组置信度结果，每组置信度包含m个概率值，以此判定每张输入的图像是清晰图像或生成图像：若概率值大于0.5，则判定为清晰图像；概率值小于等于0.5，则判定为生成图像；步骤(5).构建训练生成器的损失函数，损失函数为：l_db＝l_E+α₁l_grad+α₂l_adv；其中α₁、α₂为大于0的正则项系数，l_E为生成器输出图像集L和对应的清晰图像集S之间的均方误差，即：Lⁱ、Sⁱ分别表示在第i尺度上的生成器输出图像和清晰图像,N_i表示在第i尺度图像上所有通道的像素个数，i＝1,2,3；多尺度通过对图像3次降采样得到尺寸缩小的图像；l_grad为梯度图像和之间的梯度误差，即：Lⁱ(d_x)和Lⁱ(d_y)分别表示Lⁱ的水平梯度和垂直梯度，Sⁱ(d_x)和Sⁱ(d_y)分别表示Sⁱ的水平梯度和垂直梯度；l_adv为生成器输出图像集L和对应的清晰图像集S的判别误差，即：s～p(S)表示清晰图像s取自于清晰图像集S，p(S)表示清晰图像集S的概率分布；b～p(B)表示模糊图像b取自于模糊图像集B，p(B)表示模糊图像集B的概率分布；D(s)表示判别器对输入图像s的判别概率，G(b)表示由输入图像b经生成器生成的结果图像，E[·]表示对括号内取期望；步骤(6).将生成图像与清晰图像一同输入到判别器中，利用梯度下降迭代更新各层网络中的权重参数，不断优化l_adv,直到判别器无法判别输入的图像是生成图像还是清晰图像，即获得的概率值与0.5的差值变化小于thr，此时判别器训练结束；步骤(7).根据损失函数l_db＝l_E+α₁l_grad+α₂l_adv训练生成器，将模糊图像输入到生成器中，经过前向传播获得生成图像，比较生成图像与清晰图像的差异性，利用梯度下降迭代更新各层网络中的权重参数，不断优化损失函数l_db＝l_E+α₁l_grad+α₂l_adv，直到生成器模型训练阶段的训练集总损失函数值l_db变化小于阈值Th，此时生成器训练结束；步骤(8).重复训练过程的步骤(3)～步骤(7)，直至生成器模型训练阶段的训练集总损失函数值l_db变化小于阈值Th，即判别器无法判定输入的图像是清晰图像还是生成图像，认定生成器模型与判别器模型训练已达到收敛，此时将模糊图像输入到生成器中，获得估计的去模糊图像。