[发明专利]基于Retinex分解和生成对抗网络的人脸光照处理方法

说明书

基于Retinex分解和生成对抗网络的人脸光照处理方法，框架包含光照分解模块、人脸重构模块、判别器模块和人脸验证模块。光照分解模块由一个卷积神经网络构成，输入一对人脸图像，通过无监督学习将人脸图像分解为反射分量和光照分量；人脸重构模块由一个编解码卷积神经网络构成，其输入包含低光照人脸图像的反射分量、光照分量及目标光照等级标签，该模块可以将低光照图像的光照分量调整到目标光照等级；判别器模块通过对抗学习判别输入人脸图像的真实性并分类光照等级；人脸验证模块包含一个预训练的人脸分类器以保证生成的人脸图像和目标人脸图像具有相同的身份信息。本发明鲁棒性高，人脸重构效果好，可适用于夜间光照昏暗条件下的人脸光照处理。

技术领域

本发明属于图像处理和模式识别领域，涉及基于Retinex分解和生成对抗网络的人脸光照处理方法。

背景技术

人脸识别长期以来一直是计算机领域的热门研究课题之一。近年来该技术被广泛的应用于社交多媒体、公共安全，智能监控等领域。目前的人脸识别算法在实际应用中仍存在一些难点仍需解决，其中光照变化严重的影响着人脸识别的鲁棒性能，特别是在夜间光照昏暗的场景下，现有的算法很难识别出人脸身份。因此人脸光照处理算法具有重要的研究意义和应用价值。

现有的人脸光照处理算法主要可以分为光照预处理算法和光照不变特征提取方法这两大类。光照预处理方法直接采用图像处理相关技术直接移除图片中的光照影响，如采用伽马变换，直方图均衡化等方式。光照不变特征提取方法可以从图像中提取人脸本征特征，如自商图像特征，小波特征和LBP纹理特征等。现在人脸光照处理算法的主要问题包括：

(1)在夜间恶劣光照条件下的表现不佳，对局部阴影的处理效果差，无法完全消除光照影响。

(2)处理后的人脸图像容易出现失真和扭曲变形，人脸细节纹理特征的恢复效果不佳。

(3)处理后的人脸图像丢失部分人脸身份信息，以至于现有的人脸识别算法仍无法识别处理后的人脸图像。

发明内容

针对以上问题，本发明提供基于Retinex分解和生成对抗网络的人脸光照处理方法，该方法提出的模型包含光照分解模块、人脸重构模块、判别器模块和人脸验证模块。其中光照分解模块提取人脸图片的反射分量和光照分量；人脸重构模块调整输入人脸图片的光照等级；判别器模块使用生成对抗学习保证合成人脸图像的真实程度；人脸验证模块保留合成人脸图像的身份信息，本专利提供基于Retinex分解和生成对抗网络的人脸光照处理方法，包括下列步骤：

步骤1：建立人脸光照处理数据集；

步骤2：构建光照分解模块，该模块由一个卷积神经网络构成，用于人脸图像的Retinex光照分解，并输出人脸图像的反射分量和光照分量；

步骤3：构建人脸重构模块，该模块由一个编解码卷积神经网络构成，用于人脸图像光照分量重构，将低光照人脸图像的光照分量调整到目标光照等级；

步骤4：构建判别器模块，判别器模块通过生成对抗学习区分目标人脸图像和合成人脸图像，并分类人脸图像的光照等级，该模块由一个卷积神经网络构成；

步骤5：构建人脸验证模块，该模块由预训练的VGGFace网络组成，以保证合成人脸图像S_rec与输入图像S_in、目标图像S_tar具有相同的人脸验证信息，该模块只用于提取人脸身份特征和传递感知损失，而不进行参数更新；

步骤6：模型训练，使用Pytorch开源库搭建深度集成神经网路模型，使用NVIDIATITAN X GPU，Ubuntu 18.04操作系统下训练人脸光照处理模型；

步骤7：使用训练好的模型测试光照处理结果，给定一张输入人脸图片并给出目标光照等级标签，模型输出光照处理后的合成人脸图片。