[发明专利]一种基于对抗神经网络的人脸有光去除方法

权利要求书

1.一种基于对抗神经网络的人脸有光去除方法，其特征在于，该方法包括以下步骤：

(1)通过计算机图像学的方法合成人脸，生成虚拟的人脸有光和人脸无光图像对，建立虚拟人脸数据集；

(2)通过普通拍摄和利用偏振镜片拍摄人脸，获得真实环境下人脸有光和人脸无光的图像对，建立真实人脸数据集；

(3)搭建生成式对抗神经网络模型；

(4)用虚拟人脸数据集预训练神经网络；

(5)用真实人脸数据集调整预训练的神经网络参数，得到最终的有光去除网络模型；

(6)将待去有光的人脸图像输入有光去除网络模型中，得到对应的无光人脸图像；

步骤(3)中，搭建生成式对抗神经网络模型，方法如下：

构建对抗神经网络，包括生成器和判别器，生成器采用U-net的结构，总层数为15，将第i层特征与第15-i层特征之间连接起来,其中i∈[1,7]，对应层共享底层信息，从而优化输出结果；生成器输入图像的大小为256*256，经过卷积核大小为4*4的卷积、批量归一化和ReLu激活，实现下采样，经过8次上述的下采样，每次采样后得到的特征的维度依次为：128*128、64*64、32*32、16*16、8*8*、4*4、2*2和1*1；再进行激活、卷积核大小为4*4的反卷积、批量归一化，实现上采样，经过8次上述的上采样，每次采样后得到维度依次为：2*2、4*4、8*8、16*16、32*32、64*64、128*128的特征和大小为256*256的输出；

判别器为马尔科夫判别器(PatchGAN)，其工作原理是将输入图像分割出N*N的小块进行判断，以所有小块的判别结果的平均值作为输出结果，通过改变输入图像大小而不改变判别器的参数N，实现多尺度判别，判别器结果为2个不同尺度判别器结果的平均值，训练过程采用Adam优化器优化；

步骤(3)中用虚拟人脸数据集预训练神经网络，方法如下：对于步骤(3)构建好的神经网络，先用虚拟人脸数据集进行预训练，得到预训练模型的生成器和判别器的参数，具体对抗训练原理如下：将训练集中有光的图像a输入生成器G中，得到生成的图像G（a)，将生成图G(a)与训练集中对应的有光图像a输入到尺度不同的判别器D1、D2中，得到判别器结果由于最开始生成器生成的结果不真实，判别器认为该图像为真实图像概率为0，即判别器的结果为0，而将训练集中有光的图像a与训练集中对应的无光图像a‘输入到判别器D1、D2中，得到判别器结果判别器认为输入图像为真实图像，故判别器的结果为1，更新生成器的参数，使生成图为真实图像的概率最大化，最大值大于0.5，此时判别器认为生成器生成的图像为真实图像；再保持生成器参数不变，训练判别器，使生成图为真实图像的概率最小化，最小值小于0.5，此时判别器认为生成器生成的图像不真实；如此交替训练生成器和判别器，直到判别器认为真实图像与生成图像一致，即生成器和判别器之间达到纳什均衡，则训练完成；

为了保证生成图G(a)与训练集中无光图像a‘之间的相似性，加入了G(a)与a‘的L1距离作为损失函数的一部分，整体损失函数为其中生成器和判别器的损失函数训练判别器D时，目标是使L_GAN最小，训练生成器G时，目标是使L_GAN最大，L1范数损失函数L1＝E_a,a‘[||a‘-G(a)||₁]，E为期望，λ为系数；

步骤(5)中，用真实人脸数据集调整预训练的神经网络参数，得到最终的有光去除网络模型，方法如下：在步骤(4)基础上，用真实人脸数据集训练，调整生成器和判别器的参数，使最终的有光去除网络模型能够生成与真实人脸一样的无光人脸图像，具体对抗训练原理如下：将训练集中有光的图像a输入生成器G中，得到生成的图像G(a)，将生成图G(a)与训练集中对应的有光图像a输入到尺度不同的判别器D1、D2中，得到判别器结果由于最开始生成器生成的结果不真实，判别器认为该图像为真实图像概率为0，即判别器的结果为0，而将训练集中有光的图像a与训练集中对应的无光图像a‘输入到判别器D1、D2中，得到判别器结果判别器认为输入图像为真实图像，故判别器的结果为1，更新生成器的参数，使生成图为真实图像的概率最大化，最大值大于0.5，此时判别器认为生成器生成的图像为真实图像；再保持生成器参数不变，训练判别器，使生成图为真实图像的概率最小化，最小值小于0.5，此时判别器认为生成器生成的图像不真实；如此交替训练生成器和判别器，直到判别器判别认为真实图像与生成图像一致，即生成器和判别器之间达到纳什均衡，则训练完成；

为了保证生成图G(a)与训练集中无光图像a‘之间的相似性，加入了G(a)与a‘的L1距离作为损失函数的一部分，整体损失函数为其中生成器和判别器的损失函数L_GAN＝E_a，a′[logD(a，a‘)]+E_a[log(1-D(a，G(a)))]，训练判别器D时，目标是使L_GAN最小，训练生成器G时，目标是使L_GAN最大，L1范数损失函数L1＝E_a，a‘[||a‘-G(a)||₁]，E为期望，λ为系数。