[发明专利]基于WGAN-GP和U-NET的素描—照片转化方法

说明书

基于WGAN‑GP和U‑NET的素描‑照片转化方法属图像处理和异质图像转化领域，本发明首先获取人脸素描‑照片数据库FERET、CUHK、IIIT‑D，进行图片裁剪和调整图片大小，然后对数据进行数据增强，最后用WGAN‑GP和U‑NET生成测试集里素描对应的照片；本发明利用WGAN‑GP解决了梯度爆炸和梯度消失的问题，可较好地生成人脸照片；利用U‑NET作为生成器结构，利用U型结构较好地还原图片的细节；利用patch判别器，减少参数数量，有助于生成高质量图片；本发明可生成较真实的照片，细节完整，可很好地还原素描的真实样貌。

技术领域

本发明属图像处理和异质图像转化技术领域，具体涉及一种基于WGAN-GP和U-NET的素描—照片转化方法。

背景技术

公安部门备有每位公民照片组成的照片数据库，用来确定犯罪嫌疑人的身份，但实际中一般较难获取犯罪嫌疑人的照片，但却可以在目击证人和画像师的合作下，得到一幅犯罪嫌疑人的画像来进行后续的人脸识别。由于画像和人脸照片在纹理表达上的差异，直接利用传统的人脸识别方法，是很难取得满意的识别效果的。因此，将画像转化为照片可以有效缩小两者纹理上的差距，进而提高识别率。

针对这一问题，研究人员已经提出了素描—照片转化方法，大致可分为两种类型。第一种类型是基于online学习的data-driven的方法，通过输入照片以后，利用训练照片画像对来合成画像或者由画像合成照片。但由于data-driven方法需要在线学习，所以导致速度比较慢，但纹理比较丰富，更像画像。第二种类型是基于offline学习的model-driven的方法，则是通过机器学习学到model以后，不再需要训练样本，将输入通过映射函数得到生成的画像，这种方法的优点是训练过程虽然很慢，但是合成速度很快，细节比较好，不足是合成图像纹理不够丰富，风格更像画像，不太像照片。

关于data-driven方法主要包含两种方法，一部分是基于稀疏表示的；另外一部分是基于概率图模型的。model-driven主要包括线性model和非线性model，非线性模型包括CNN神经网络、GAN对抗神经网络、ResNet等主要基于深度学习的方法，基于深度学习的方法对样本数量有很高的要求，而在实际中，人脸素描—照片数据库造价高昂且不易获取，为该方法的发展添加了许多障碍。

由于以上算法的缺陷，在实际应用中很难取得理想的效果，故有必要进行改进。

发明内容

本发明的目的在于提供一种使生成的照片更加清晰真实的基于WGAN-GP和U-NET的素描--照片的转化方法。

本发明的一种基于WGAN-GP和U-NET的素描--照片转化方法，包括下列步骤：

1.1获取人脸素描--照片数据库：FERET、CUHK、IIIT-D；

1.2将素描--照片对进行裁剪，使其人脸的分布比例基本相等；

1.3使用“水平镜像”方法，对裁剪后的素描--照片对进行数据库增强，将数据库扩大到原数据库的二倍，并将素描--照片压缩至256*256；

1.4使用改进的WGAN网络，构建WGAN-GP对抗神经网络，网络的各项参数的确定包括下列步骤：

1.4.1由数据量和GPU确定epochs＝100,batch_size＝32,sample_interval＝50，通道数设为3；

1.4.2生成器每迭代一次，判别器迭代五次；

1.4.3构建生成器：使用U-NET网络，包括下列步骤：