[发明专利]基于WGAN-GP和U-NET的素描—照片转化方法

摘要

基于WGAN‑GP和U‑NET的素描‑照片转化方法属图像处理和异质图像转化领域，本发明首先获取人脸素描‑照片数据库FERET、CUHK、IIIT‑D，进行图片裁剪和调整图片大小，然后对数据进行数据增强，最后用WGAN‑GP和U‑NET生成测试集里素描对应的照片；本发明利用WGAN‑GP解决了梯度爆炸和梯度消失的问题，可较好地生成人脸照片；利用U‑NET作为生成器结构，利用U型结构较好地还原图片的细节；利用patch判别器，减少参数数量，有助于生成高质量图片；本发明可生成较真实的照片，细节完整，可很好地还原素描的真实样貌。

主权项

1.一种基于WGAN‑GP和U‑NET的素描‑‑照片转化方法，其特征在于包括下列步骤：1.1获取人脸素描‑‑照片数据库：FERET、CUHK、IIIT‑D；1.2将素描‑‑照片对进行裁剪，使其人脸的分布比例基本相等；1.3使用“水平镜像”方法，对裁剪后的素描‑‑照片对进行数据库增强，将数据库扩大到原数据库的二倍，并将素描‑‑照片压缩至256*256；1.4使用改进的WGAN网络，构建WGAN‑GP对抗神经网络，网络的各项参数的确定包括下列步骤：1.4.1由数据量和GPU确定epochs＝100,batch_size＝32,sample_interval＝50，通道数设为3；1.4.2生成器每迭代一次，判别器迭代五次；1.4.3构建生成器：使用U‑NET网络，包括下列步骤：1.4.3.1 U‑NET网络设计：“U‑NET”网络结构即在“Encoder‑decoder”编码器‑解码器之间添加连接层，生成器使用的卷积核为4*4，之后跟2*2、步长为2的最大池化层；使用下采样的激活函数‘relu’、上采样激活函数‘tanh’,采用‘same’模式生成前后大小一致的图片，作为生成器的输出；1.4.3.2损失函数：采用L1损失函数和WGAN‑GP损失函数；L1损失函数也被叫做最小化绝对误差(Least Absolute Error)；LAE就是真实的人脸照片的像素值y_i和生成器生成的“假”照片的像素值f(xi)之间像素差值D_L1的绝对值的和，其公式为：其中：y_i为人脸照片的每一点的像素值，f(x_i)代表生成器生成图片的每一点的像素值，D_L1是平均绝对误差(MAE)；WGAN‑GP生成器损失函数的公式为：其中：P_g为生成器产生的“假”照片分布；综上，Loss函数的公式为：其中：L_WGAN‑GP(G,D)为生成器损失函数；为L1损失函数；根据实际需要调整α，β的比例；1.5构建判别器：使用patch判别器，包括下列步骤：1.5.1 Patch判别器不是以原始判别器将整个图像当做输入，而是以每一小块的patch来进行，把生成器生成“假”照片划分为N*N个patch后，对每一块进行判别真假；当N＝1时，相当于逐像素，效率低；当N＝256时，相当于对一幅图像的操作，细节精确度下降；当取patch＝4，将图片分为4*4个patch，每一块大小70*70，用‘same’模式生成前后大小相等的图片；由于分块判断，patch判别器以卷积方式划过整个图像，平均所有的响应来提供判别器最终的输出，能生成高质量的结果，WGAN‑GP判别器的损失函数公式为：其中：P_r为真实照片分布；P_g为生成器产生的“假”照片分布；x_r～P_r,x_g～P_g,为x_r和x_g的连线上的随机差值采样；为所满足的分布，即：WGAN Loss+gradient penalty梯度惩罚，其中λ为惩罚项因子，设为1。