[发明专利]一种基于生成对抗网络实现人脸妆容转换的方法

说明书

本发明公开了一种基于生成对抗网络实现人脸妆容迁移的方法，在有效保证妆容准确的转移到人脸各化妆区域的基础上，更好的维持了未化妆图像人脸身份特征和背景与源图像的一致性。首先利用一个双输入输出对抗网络，接收两张非成对化妆/未化妆图像，来实现跨域图像的妆容转移和妆容去除。同时，在对抗网络中引入化妆损失，身份保留损失，背景不变损失等五类损失函数，以帮助训练一个准确、逼真、稳定的面部化妆转移网络。对于训练完成的网络，导入任意两张化妆和未化妆的人脸图片，即可自动完成精准的化妆转移，同时保留未化妆人脸图片的身份特征和背景特征。

技术领域

本发明涉及计算机视觉图像风格迁移领域，特别涉及一种用于实现人脸妆容自动转换方法。

背景技术

近年来，基于神经网络的风格转换和图像到图像的转换技术的发展，为化妆合成领域带来了新的进展。妆容风格自动转换的任务是从参考肖像图像中提取妆容风格，并将其应用到不同人物的目标图像中，这一任务已经得到了广泛的研究。然而，现有的方法往往只关注转换过程中一个或两个的需求，无法同时实现人脸身份保留、背景保留和准确的化妆转移。此外，对于获得成对排列整齐的、代表不同化妆风格的人脸图像数据集也比较困难。

本发明的系统主要针对的是对人脸妆容自动迁移的任务。普遍的深度学习框架人脸识别模型在此任务上主要存在以下挑战：(1)身份特征保留。浓妆可以显着改变面部特征，使识别面部身份变得具有挑战性和难以置信。因此，不能识别化妆脸和未化妆脸是否来自同一个人是不可取的。(2)背景信息保留。背景信息涉及耳朵、眼球、颈部、头发和其他与化妆无关的区域。当背景复杂时，传输过程可能会修改背景样式并导致不真实的伪像。对于一个优秀的妆容改造模特来说，也是不能接受的。(3)准确的风格转移。对于大多数日常化妆的人来说，化妆区域直接影响用户的视觉效果和直观体验。具体来说，化妆品主要包括以下几个区域：皮肤上的粉底、嘴上的口红、眼睛上的眼影、眉毛上的眉粉。

近年来，也有相关研究工作尝试解决此类问题。

文献1(Li,T.,Qian,R.,Dong,C.,Liu,S.,Yan,Q.,Zhu,W.,Lin,L.:BeautyGAN:Instance-level facial makeup transfer with deep generative adversarialnetwork.In:ACM MM(2018).)提出了一种妆容转换网络，它可以通过在局部区域上应用像素级直方图损失来实现实例级风格转移。然而，它不能很好地保留源图像的人脸身份和背景信息。

文献2(Huang,Z.K.,Zheng,Z.D.,Yan,C.G.,Xie,H.T.,Sun,Y.Q.,Wang,J.Z.,Zhang,J.Y.:Real-world automatic makeup via identity preservation makeupnet.In IJCAI(2020))将人脸图像分解为个人身份内容代码和妆容风格代码，不仅可以保留背景，还可以保留原始身份的关键模式。但该方法生成的图像妆容转移效果存在失真，不合乎实际。

发明内容

本发明的目的是提供一种用于实现人脸妆容自动转换方法，考虑到人脸数据集本身的特殊性，以及妆容转换的复杂性和保真性，以此设计了基与生成对抗网络无监督的妆容转移网络模型，通过一系列精准的损失函数，从而解决了妆容转换过程中出现的身份特征和背景信息发生改变的问题，同时获得更加准确美观的妆容风格。基于以上改进，本发明提出的基于生成对抗网络实现人脸妆容转换的方法更具真实系统的实用性，且可以大幅度提升妆容转换的质量。

为了实现以上目的，本发明是通过以下技术方案实现的：

一种用于化妆人脸图像的妆容自动转换方法，其特征在于，包括如下步骤：

S1，构建人脸妆容数据将其分为化妆和未化妆两部分，并分成训练集和测试集；

S2，生成器G1从数据集中同时接收两张未化妆和化妆的人脸图像并生成妆容转移和去除后的两幅图像；