[发明专利]基于自适应实例归一化的妆容迁移方法

说明书

本发明公开了一种基于自适应归一化的妆容迁移方法：步骤1，构建数据集；步骤2，提取素颜特征图、妆容特征图；步骤3，构建基于自适应归一化的妆容迁移的训练网络模型；步骤4，将妆容特征图集和素颜特征图集输入到上妆网络_G1；步骤5，上妆网络生成图像1；步骤6，将生成图像1与对应的妆容特征图输入判别器_D1，输出判别值；步骤7，将生成图像1输入到卸妆网络_G2得到生成图像2；步骤8，将生成图像2与素颜特征图输入判别器_D2，输出判别值；步骤9，返回步骤5，直至妆容特征图集及素颜特征图集任一为空；步骤10，到达预设迭代次数，得到训练好的参数。实验表明，本发明的方法可有效适用于不同风格的妆容迁移任务，特别是戏曲妆容的迁移效果更好。

技术领域

本发明属于技术领域，涉及一种基于自适应归一化的妆容迁移方法。

背景技术

妆容迁移是计算机视觉中前沿的热点研究方向。据国家统计局数据显示，近10年，我国化妆品总交易额以及进出口额逐年递增，我国已成为全球第二大美妆产品消费市场。伴随着我国的产业升级以及公众对美的需求，化妆软件受到了越来越多的追捧。2020年美图秀的营业额高达11.97亿元，而抖音视频的“一键换妆”也迅速风靡全国，越来越多的直播软件都增加了人脸化妆的功能。无论是娱乐软件的一键化妆，还是电商平台的虚拟试妆，以及我国艺术下乡中沉浸式戏曲的火热发展，都依托于妆容迁移算法的发展。妆容迁移算法不仅仅是对妆容的提取再融合，而且要考虑到不同部位的语义以及面部的阴影纹理光影等。相较于计算机贴妆技术，妆容迁移具有更强的自主性以及任意性。它可以让用户从任意真实人脸中获得并搭配其想要的妆容，极大了提高了用户体验，丰富了妆容的多样性。大量学者对妆容迁移任务展开研究，已经取得了一定的成果。

优秀的妆容迁移算法层出不穷，而其中生成对抗网络由于其图像再生成的特性，已经成为了目前主流的妆容迁移框架。Li等人最先将生成对抗网络用于妆容迁移工作中，提出了双输入输出的迁移框架BeautyGAN。该方法引入像素级直方图来实现迁移，使得效果获得显著提升。但该算法对妆容的要求较高，在清晰的日常淡妆方面表现良好，不适用于极端妆容。Chen等人对BeautyGAN进行了改进，引入了可逆卷积生成流Glow以操控潜在向量，完成了妆容的局部转移。但是这种局部迁移也存在一些问题，比如风格差距较大的妆容会影响到其色彩精度以及训练效率等。Jiang等人针对妆容迁移的鲁棒性提出了PSGAN，该方法利用面部检测技术，对妆容进行变形以适应人脸，增强了妆容迁移的鲁棒性；但该算法对于极端妆容的迁移效果仍不理想。

生成对抗网络的发展加快了妆容迁移方法的推陈出新，非日常风格的妆容迁移也取得了一定发展。Hoshen等人针对面部图案如纹身等，在GAN中引入了化妆包数据集，完成了人脸特殊图案的迁移；但该算法对于浓妆的迁移存在涂抹现象。Wang等人针对妆容的颜色细分，引入颜色的标签学习提出了CA-GAN，该算法对极端妆容的色彩以及阴影把控较好，但对于日常淡妆的迁移，该算法存在面部纹理保留不到位的问题。Nguyen等人针对欧美极端妆容中的纹面以及鼻环等饰品，引入色彩迁移与饰品训练网络，并将妆容迁移工作转移到UV纹理空间中；该算法在一定程度上克服了阴影与姿态的鲁棒性问题，但仍然存在着训练困难以及生成图像部分失真等情况。

发明内容

针对现有技术中存在的网络训练难度随着风格差异的增大而不断提升，妆容迁移效果受妆容风格限制的问题，本文提出一种基于自适应实例归一化的妆容迁移算法。

为了达到上述目的，本发明采用如下技术方案予以解决：

一种基于自适应归一化的妆容迁移方法，具体包括如下步骤：

步骤1，构建数据集，分为素颜图与妆容图两个集合，其中妆容图中包括日常淡妆、欧美浓妆、戏曲妆容；数据集分为训练集和测试集；

步骤2，利用VGG19分别提取训练集中素颜图的素颜特征图以及妆容图的妆容特征图，素颜特征图和妆容特征图均包括面部、眼睛以及嘴唇的特征；