[发明专利]基于Retinex分解和生成对抗网络的人脸光照处理方法

权利要求书

1.基于Retinex分解和生成对抗网络的人脸光照处理方法，其特征在于，包括下列步骤：

步骤1：建立人脸光照处理数据集；

步骤2：构建光照分解模块，该模块由一个卷积神经网络构成，用于人脸图像的Retinex光照分解，并输出人脸图像的反射分量和光照分量；

步骤3：构建人脸重构模块，该模块由一个编解码卷积神经网络构成，用于人脸图像光照分量重构，将低光照人脸图像的光照分量调整到目标光照等级；

步骤4：构建判别器模块，判别器模块通过生成对抗学习区分目标人脸图像和合成人脸图像，并分类人脸图像的光照等级，该模块由一个卷积神经网络构成；

步骤5：构建人脸验证模块，该模块由预训练的VGGFace网络组成，以保证合成人脸图像S_rec与输入图像S_in、目标图像S_tar具有相同的人脸验证信息，该模块只用于提取人脸身份特征和传递感知损失，而不进行参数更新；

步骤6：模型训练，使用Pytorch开源库搭建深度集成神经网路模型，使用NVIDIA TITANX GPU，Ubuntu 18.04操作系统下训练人脸光照处理模型；

步骤7：使用训练好的模型测试光照处理结果，给定一张输入人脸图片并给出目标光照等级标签，模型输出光照处理后的合成人脸图片。

2.根据权利要求1中所述基于Retinex分解和生成对抗网络的人脸光照处理方法，其特征在于；步骤1建立人脸光照处理数据集使用中国科学院计算研究所公开的CAS-PEAL数据集，该数据集包含10种光照条件下的共1666张人脸图片，其中1498张人脸图片为训练样本包括180个人脸实例，剩余198张人脸图片为测试样本包括20个实例。

3.根据权利要求1中所述基于Retinex分解和生成对抗网络的人脸光照处理方法，其特征在于；步骤2构建光照分解模块具体如下；

步骤201：对于给定的输入人脸图像S_in和目标人脸图像S_tar，光照分解模块的输入为图像对{S_in,S_tar}，该模块由6个卷积层组成，其中第一个卷积层使用9×9卷积核学习人脸图像的全局信息，剩余的卷积层采用3×3卷积核和ReLU激活函数，最后，Sigmoid激活函数用于将网络输出的反射分量R和光照分量I的像素值归一化至[0,1]区间，该网络不包含池化层且卷积操作的步长为1，以保证反射分量R，光照分量I的尺寸与输入图像S的尺寸一致，光照分解模块的操作具体表示为：

R_in,I_in,R_tar,I_tar＝Dec(S_in,S_tar) (1)

其中Dec(·)表示光照分解模块，R_in，I_in，R_tar，I_tar为输入人脸图片S_in和目标人脸图片S_tar的Retinex光照分解结果；

步骤202：光照分解模块通过人脸图像对的本征约束进行无监督学习，其目标函数由以下部分组成；

(1)反射分量一致性损失：根据Retinex理论，输入图像和目标图像的反射分量是近似一致的，其主要的差异体现在光照分量上，反射一致性损失用于约束输入图像的反射分量R_in和目标图像的反射分量R_tar之间的距离，其损失函数具体表示为：

其中表示光照分解模块的反射分量一致性损失，L1范数距离用于衡量R_in和R_tar的相似程度；

(2)像素回归损失：光照分解模块输出的反射分量{R_in,R_tar}和光照分量{I_in,I_tar}通过矩阵元素相乘运算重构输入人脸图像和目标人脸图像，其损失函数具体定义为：

其中表示光照分解模块的像素回归损失，涉及输入图像、目标图像和交叉重构图像，α_ij衡量不同图像的像素回归损失权重；

(3)平滑损失：全变分模型用于平滑光照分解模块输出的光照分量{I_in,I_tar}并过滤噪声，其损失具体表示为：

其中表示光照分解模块的平滑损失，具体涉及输入人脸图像和目标人脸图像，表示图像的全变分值，λ_g为调整图像平滑程度的权重参数；

光照分解模块的目标损失函数为不同学习任务的损失加权组合，最终的损失函数表示为：

其中和分别表示光照分解模块中不同损失的权重参数。