[发明专利]基于生成对抗网络的图像去马赛克方法

权利要求书

1.一种基于生成对抗网络的图像去马赛克方法，其特征是，步骤如下：

(1)数据集的构建：选取ImageNet数据集作为生成对抗网络的训练，在ImageNet数据集中随机挑选m个种类的图像，每个种类随机挑选n张图像作为训练数据，每个类别n张图像以外的图像作为测试数据，构建出数据集；

(2)马赛克的加入：利用Matlab在10000张训练图像上随机位置上加入马赛克，马赛克的大小和程度都随机选取；

(3)生成对抗网络模型的构建：生成对抗网络由两部分构成：生成器和判别器；利用卷积神经网络分别构成生成器和判别器，利用AlexNet为基础构建生成器，将生成器中的前两层网络设计成4×4和2×2大小的卷积核的卷积层，并且以与卷积核尺寸一致的步长进行卷积，从而实现特征图的下采样，压缩了特征图的空间分辨率，并且便于特征提取，此外，要去除AlexNet中的全连接层，并且为网络添加反卷积层，构成一个全卷积网络，保持输入图像和输出图像的尺寸不变；

(4)生成对抗网络的训练：将上述构建完成的训练数据集输入进生成对抗网络中，对于训练数据，网络每次随机选取一批图像进行学习，分别对判别器和生成器进行交替训练，训练过程采用随机梯度下降法SGD(Stochastic gradient descent)，利用Adam(adaptivemoment estimation)优化器进行最优化。

2.如权利要求1所述的基于生成对抗网络的图像去马赛克方法，其特征是，还包括网络性能的测试步骤：对于测试数据集，利用与训练数据同样的处理方法加入马赛克，然后把训练完成的GAN中的生成器单独拿出来作为去马赛克器，将含有马赛克的测试数据输入进生成器中，输出的图像被认为就是去马赛克后的图像，通过计算去马赛克后的输出图像与不含马赛克的原始图像之间的峰值功率信噪比PSNR(Peak Signal to Noise Ratio)来衡量去马赛克效果。

3.如权利要求1所述的基于生成对抗网络的图像去马赛克方法，其特征是，具体步骤细化如下：

对判别器进行训练：

对判别网络进行训练时将32张图像作为一批，输入到网络中，把每张含有马赛克的图像和不含马赛克的原始图像连接成六通道图像，并加入标签为‘0’；把含有马赛克的图像输入到生成器中，得到一个去马赛克后的输出图像，把含有马赛克的图像和经过生成器处理得到的去马赛克图像连接成六通道图像，并加入标签为‘1’；六通道图像输入到判别器后得到判别输出，利用二元互熵损失计算损失，二元互熵损失的定义公式如下：

式中o_i代表第图像对的实际标签，t_i代表第i个图像对的输出判别标签，计算出的损失值的均值进行反向回传BP(Back Propagation)实现网络的训练；

对生成器进行训练：

对生成网络的训练中，首先从读入的一批含有马赛克的图像中选取出一张图像，然后输入到生成器中，输出一张去马赛克后的图像，将输出的图像与不含马赛克的图像进行二范数损失计算，定义如下：

其中x_i是不含马赛克的原始图像，y_i是去马赛克后的图像；

对生成网络进行训练：

对生成网络的训练过程中，首先将读入的含有噪声的图像输入到生成网络中，输出一张去噪后的图像，将输出的去噪后的图像与图像对中不含噪声的图像做一范数损失，定义如下：

然后将含有马赛克的图像和去马赛克后图像连接成六通道图输入进判别器中，得到输出标签，对输出的标签和标签‘1’做二元湖上损失，得到L_E，将两种损失值进行加权求和得到最终的生成器损失：

L_G＝L_E+λL₁

上式中λ设置为100，得到的生成器损失L_G利用BP算法进行回传，实现生成器的训练。