[发明专利]一种基于对偶生成对抗网络的模仿化妆图像虚拟卸妆方法

说明书

本发明提出了一种基于对偶生成对抗网络的模仿化妆图像虚拟卸妆方法，解决了模拟化妆受模仿者和被模仿者的面部信息的影响，造成卸妆效果差的技术问题。其步骤为：首先，将模仿者的化妆人脸图像和模仿对象的人脸图像合并为第一输入矩阵，并输入卸妆生成器网络，生成素颜图像；其次，将模仿者的素颜图像和模仿对象的人脸图像合并为第二输入矩阵，并输入化妆生成器网络，生成化妆图像；然后，将素颜图像和化妆图像分别输入判别器网络，并计算判别器的损失函数，根据损失函数调整网络参数，得到卸妆生成器；最后，将待检测的人脸图像输入卸妆生成器，得到用户的素颜图像。本发明将化妆图像和被模仿者图像同时输入卸妆生成器，具有较好的卸妆效果。

技术领域

本发明涉及图像处理技术领域，特别是指一种基于对偶生成对抗网络的模仿化妆图像虚拟卸妆方法。

背景技术

爱美之心，人皆有心。随着人们生活质量的提升，越来越多的人注重自己的外在，希望通过化妆带来形象上的提升。但化妆给人自信的同时，也给人们的生活带来一些不便，其中包括人脸认证系统的识别性能下降。

近年来，深度学习技术的发展使得人脸认证系统的识别率有了突飞猛进的提高，因此在人机交互、信用卡验证、门禁系统等实际场景，人脸识别技术得到了越来越多的应用，例如，2015年3月举办的德国CeBIT大会开幕式上，马云演示了刷脸支付技术，并成功刷脸购物；从2017年开始国内各火车站已陆续实现刷脸身份识别，另一方面目前大多数手机都已支持人脸解锁，提高了用户体验。目前，人脸识别产品已广泛应用于金融、安检、工厂及网络应用等领域。随着技术的进一步成熟和社会认同度的提高，人脸识别技术将应用在更多的领域。

然而越来越普遍的化妆行为对人们的面部特征影响较大，妆后人脸在很大程度上不同于本来面部信息，如图1所示，给基于人脸的身份认证系统带来了较大的挑战，造成识别错误或者拒识。此种情况下让用户当场卸妆会造成用户体验度的急剧下降，在操作和效率上也极不现实。

因此考虑采用对带妆人脸图像进行处理得到用户素颜照从而进行人脸识别方式，来完成此情况下的用户身份信息核对。目前对人脸图像进行处理的技术在人们日常生活中发挥着较大的作用，近年来，研究者们开始探索人脸图像的数字化妆技术，出现一些专业软件可以对人脸进行虚拟化妆或试妆，在电子商务、社交网络等领域应用较为广泛。

而针对化妆的逆过程——卸妆，最近也受到越来越多的关注。2016年，Wang S等人提出探索化妆背后的人脸信息，首先检测有可能化妆的部位，然后对局部区域进行卸妆处理。该方法取得一定效果的同时，具有一些局限性，它将化妆和卸妆看作两个独立的过程。实际上，理想的化妆和卸妆算法应该具有可逆性，该性能可有效地被利用于算法的设计和训练上。2017年，Chen Y C等人提出元素回归网络，在不知道美颜具体操作的情况下将美颜后的照片进行还原。遗憾的是，该方法在化妆风格改变或者过度化妆时不能有效工作。2018年，Chang H.等人提出非对称风格转换的思想，将素颜照人脸迁移到指定化妆风格的美妆照，同时也能将美妆人脸进行卸妆。该方法取得了较好的化妆效果，且能进行不同化妆风格的迁移，但卸妆算法需要有化妆风格图做输入，限制了应用场景。

目前已有的人脸图像虚拟卸妆工作主要集中在美颜化妆上，对模仿化妆的卸妆方法研究较少。模仿化妆是指化妆者选定另一个人作为模仿对象，通过化妆使自己看起来和被模仿者相似，如图2所示。可以看出，模仿化妆和美颜化妆在成像特性上有较大的区别，因此在虚拟卸妆方法上应该被区别对待。因此，设计合理的方法对模仿化妆的人脸图像进行虚拟卸妆，得到用户的本来面部信息从而顺利进行身份认证，具有重大的研究意义和社会价值。

发明内容

针对上述背景技术中存在的不足，本发明提出了一种基于对偶生成对抗网络的模仿化妆图像虚拟卸妆方法，解决了现有模拟化妆受模仿者和被模仿者的面部信息的影响，造成卸妆效果差的技术问题。

本发明的技术方案是这样实现的：

一种基于对偶生成对抗网络的模仿化妆图像虚拟卸妆方法，其步骤如下：