[发明专利]基于WGAN-GP和U-NET的素描—照片转化方法

权利要求书

1.一种基于WGAN-GP和U-NET的素描--照片转化方法，其特征在于包括下列步骤：

1.1获取人脸素描--照片数据库：FERET、CUHK、IIIT-D；

1.2将素描--照片对进行裁剪，使其人脸的分布比例基本相等；

1.3使用“水平镜像”方法，对裁剪后的素描--照片对进行数据库增强，将数据库扩大到原数据库的二倍，并将素描--照片压缩至256*256；

1.4使用改进的WGAN网络，构建WGAN-GP对抗神经网络，网络的各项参数的确定包括下列步骤：

1.4.1由数据量和GPU确定epochs＝100,batch_size＝32,sample_interval＝50，通道数设为3；

1.4.2生成器每迭代一次，判别器迭代五次；

1.4.3构建生成器：使用U-NET网络，包括下列步骤：

1.4.3.1 U-NET网络设计：“U-NET”网络结构即在“Encoder-decoder”编码器-解码器之间添加连接层，生成器使用的卷积核为4*4，之后跟2*2、步长为2的最大池化层；使用下采样的激活函数‘relu’、上采样激活函数‘tanh’,采用‘same’模式生成前后大小一致的图片，作为生成器的输出；

1.4.3.2损失函数：采用L1损失函数和WGAN-GP损失函数；

L1损失函数也被叫做最小化绝对误差(Least Absolute Error)；LAE就是真实的人脸照片的像素值y_i和生成器生成的“假”照片的像素值f(xi)之间像素差值D_L1的绝对值的和，其公式为：

其中：y_i为人脸照片的每一点的像素值，f(x_i)代表生成器生成图片的每一点的像素值，D_L1是平均绝对误差(MAE)；

WGAN-GP生成器损失函数的公式为：

其中：P_g为生成器产生的“假”照片分布；

综上，Loss函数的公式为：

其中：L_WGAN-GP(G,D)为生成器损失函数；为L1损失函数；根据实际需要调整α，β的比例；

1.5构建判别器：使用patch判别器，包括下列步骤：

1.5.1 Patch判别器不是以原始判别器将整个图像当做输入，而是以每一小块的patch来进行，把生成器生成“假”照片划分为N*N个patch后，对每一块进行判别真假；当N＝1时，相当于逐像素，效率低；当N＝256时，相当于对一幅图像的操作，细节精确度下降；当取patch＝4，将图片分为4*4个patch，每一块大小70*70，用‘same’模式生成前后大小相等的图片；由于分块判断，patch判别器以卷积方式划过整个图像，平均所有的响应来提供判别器最终的输出，能生成高质量的结果，WGAN-GP判别器的损失函数公式为：

其中：P_r为真实照片分布；P_g为生成器产生的“假”照片分布；x_r～P_r,x_g～P_g,为x_r和x_g的连线上的随机差值采样；为所满足的分布，即：WGAN Loss+gradient penalty梯度惩罚，其中λ为惩罚项因子，设为1。