[发明专利]基于循环生成对抗网络的彩色人脸图像光照域归一化的方法

说明书

本发明公开了一种基于循环生成对抗网络的彩色人脸图像光照域归一化的方法，包括以下步骤：S1:建立用于彩色人脸图像光照归一化的循环生成对抗网络模型；S2:建立模型的损失函数；S3:进行模型的训练，并在测试集上测试。本发明是对多种光照下的彩色人脸图像进行到指定目标光照域的转换，输入不均匀光照的彩色人脸图片，使用循环生成对抗网络作为模型架构，以目标均匀光照域为目标，实现人脸图像多光照的归一化，归一化的图像不仅可以较好的保持原有人脸的脸部属性特征，还可以很好实现跨数据集迁移。

技术领域

本发明涉及计算机视觉人脸光照领域，更具体地，涉及一种基于循环生成对抗网络的彩色人脸图像光照域归一化的方法。

背景技术

近年来，由于深度学习在计算机视觉的快速发展，基于二维人脸的分析技术，如人脸识别、人脸匹配、人脸属性识别等方向受到了极大的关注。目前，许多的在人脸领域的算法能够达到近乎完美的表现，也得到了广泛的使用。这些效果表现很好的算法，都是基于对人脸图像的姿态，拍摄环境，表情，光照等非人脸身份信息进行了严格的控制，对于在自然无限制的现实环境下，其应用会存在一定的不足。在自然条件下，其性能容易受到光照、拍摄角度、遮挡等多方面的影响，其中光照的变化是影响其算法性能最重要的因素之一。由于人脸是3D结构，不同角度的光照投射出的阴影，会加强或者减弱原有的人脸特征，尤其是当光照不足时候造成的脸部阴影，会导致这些二维人脸的分析算法性能急剧下降。同时，已有的理论实验证明，一个人脸个体因为光照变化引起的差异，甚至会大于相同关照下不同个体之间的差异。因此，探索合适的方法对不同光照变化环境下的人脸图像进行预处理，模拟人脸图像可能出现的光照成像环境，对于改善人脸分析算法的性能具有很大的意义。

早期的方法是注重于人脸灰度图片，利用灰度的调整重新分配原始人脸图像的强度，使人脸图像不易发生光照变化，例如直方图均衡化，这些方法仅考虑人脸图像的整体强度分布，难以处理人脸图像中因光照产生的硬阴影、高光等。接下来提出的方法注重于提取同一人脸不同光照条件下的图像的光照不变特征，例如自商图像方法、SL光照标准化方法等，这些方法同样不适用于硬阴影，处理生成的人脸图像容易丢失边缘信息，细节信息等，同时也只是应用在人脸图像的灰度图，难以拓展到彩色空间，现实应用存在较大的限制。

随着深度学习的发展，卷积神经网络也被用以推断光照参数和重建光照环境图；另外，也有直接融合使用三维模型产生多视图和各个光照条件下的样本，再利用神经网络的非线性转化能力，构建一个能同时处理多光照的模型。这些方法复杂度比较高，计算成本比较大，多数的方法还是局限于处理精心分割好并且严格对齐的脸部区域，对于完整的人脸图像鲁棒性不高。

生成对抗网络是现在计算机视觉研究比较热门的领域，其中，生成对抗网络被成功应用到了图像域间转换和域间迁移。这些模型学习如何将图像从一个域转换到另外一个域。这给我们的人脸图像多光照域之间进行转换提供了思路，模拟原有的人脸在可能出现的光照域成像情况，可以通过生成对抗网络的域转换的思路来实现。其优点在于，在进行人脸光照处理时，不需要切割人脸部位，不需要严格的人脸对齐，可以很好的对人脸和背景进行光照的转换，更加符合现实场景。同时，也存在一定的局限性，例如在进行光照转换时候，要保留原有图像的身份信息。更加具体为，脸部属性特征、毛发、人脸上的遮挡物等。现有的一些进行域转换的生成对抗网络模型，生成的图像容易产生噪声，丢失细节信息，存在局部模糊的情况。基于CycleGAN的人脸灰度图光照归一化，但是其只是对于人脸图像灰度图进行归一化，并且是基于严格剪裁的人脸区域，不包括头发，耳朵等部位，难以拓展到彩色空间，在自然环境下存在一定的应用限制。还有基于生成对抗网络和Triplet loss的彩色人脸图像归一化方法，但是在训练模型时候，其判别器需要对目标光照域人脸具体身份类别进行判别，以具体的人脸身份类别信息来训练模型，重构时候添加triplet loss，使用了具体的人脸身份信息，一定程度上相当于使用配对数据进行光照域的转换。这限制了该方法的对于训练数据集外的人脸图像的适应性，对于跨数据集测试，其生成的光照归一化效果不好，其应用也存在很大的限制。我们的光照域的转换生成对抗网络模型采用的是跨数据集非配对数据，并且要克服上述的这些问题，要更加注重转换生成的人脸图像的质量和跨数据集迁移的效果。