[发明专利]一种基于区域风格一致性的妆容风格迁移方法及系统

说明书

本发明提供一种基于区域风格一致性的妆容风格迁移方法及系统，包括输入素颜人脸图像和参考妆容人脸图像，变形得到一张伪带妆人脸图像；基于预设的子妆容风格的个数，利用妆容的颜色纹理信息，通过SOM网络对伪带妆人脸图像进行妆容分割，将妆容风格分解为子妆容风格，同时将整体妆容划分为不同的子妆容风格区域，得到目标带妆人脸图像的妆容分割结果的近似结果；将素颜人脸图像和参考妆容人脸图像输入到对抗生成网络中，通过区域自适应归一化调整对抗生成网络中的生成网络模块，在相同子风格区域应用相同的归一化方式以增强远距离相似妆容区域的一致性，由生成网络模块输出目标带妆人脸图像，可实现更好的妆容风格迁移图像效果。

技术领域

本发明涉及图像生成技术领域，具体涉及一种基于区域风格一致性的妆容风格迁移技术方案。

背景技术

化妆是一种常见的提升外貌的方式。通过运用化妆品和工具，可以对面部和五官进行渲染、描画、掩饰缺陷、调整形色、增强立体印象，从而增加美感和魅力。因此，图像处理技术领域中，妆容处理也是重要的应用场景，例如，授权专利CN108090465B提供了一种妆容效果处理模型训练方法及妆容效果处理方法，授权专利CN105956150B提供了生成用户发现及妆容搭配建议的方法及装置。

人脸妆容迁移是近年来在图像处理领域出现的新的应用技术。最近，一些虚拟化妆应用程序已投入市场，比如美图秀秀、Camera360、TAAZ、抖音等等。这些应用可以将用户选择的妆容迁移到输入的人脸图像上，这样，用户就可以实时看到某个妆容在自己脸上的效果。但是这些应用只提供特定的几种妆容，应用范围有限。

妆容风格迁移旨在只提供一张参考妆容图像和一张素颜人脸图像的情况下，将参考妆容迁移到素颜人脸上的同时维持素颜人脸的身份信息不变。妆容风格迁移是一种无监督的实例级别的风格迁移任务。通过妆容风格迁移，只需提供一张带妆人脸图像就可以看到该妆容在用户脸上的效果。

随着对抗生成网络在图像生成领域取得巨大成功，已有技术利用对抗生成网络的方法完成妆容风格迁移的任务。然而现有的方法都将妆容分解为唇妆、眼妆和面部妆容三个部分，但是这三个子妆容的复杂程度并不类似，唇妆往往相对简单，眼妆相对复杂、面部妆容更具多样性。这样的划分方式不利于模型的训练。

发明内容

为了解决上述现有技术中存在的不足，本发明提出了一种基于区域风格一致性的妆容风格迁移方案对妆容风格进行更合理的分解，同时增强远距离相似妆容区域的一致性，实现更好的妆容风格迁移效果。

为了实现上述目的，本发明提出一种基于区域风格一致性的妆容风格迁移方法，包括以下步骤，

步骤1，输入素颜人脸图像和参考妆容人脸图像将参考妆容人脸图像变形到素颜人脸图像上，得到一张伪带妆人脸图像

步骤2，基于预设的子妆容风格的个数k，利用妆容的颜色纹理信息，通过SOM网络对伪带妆人脸图像进行妆容分割，将妆容风格分解为子妆容风格，同时将整体妆容划分为不同的子妆容风格区域，得到目标带妆人脸图像的妆容分割结果的近似结果；

步骤3，将素颜人脸图像和参考妆容人脸图像输入到对抗生成网络中，通过区域自适应归一化调整对抗生成网络中的生成网络模块，在相同子风格区域应用相同的归一化方式以增强远距离相似妆容区域的一致性，由生成网络模块输出目标带妆人脸图像

而且，步骤1的实现方式为，根据人脸关键点利用warping算法，输入素颜人脸图像和参考妆容人脸图像将参考妆容人脸图像变形到素颜人脸图像上。

而且，步骤2的实现方式包括以下子步骤，

步骤2.1，对伪带妆人脸图像进行RGB直方图统计，选出k个两两之间距离最大的颜色用来初始化SOM网络中竞争层神经元的权值；

步骤2.2，在SOM网络中输入伪带妆人脸图像中随机像素点的RGB值，记为当前输入v；