[发明专利]一种基于神经网络的智能仿妆系统及仿妆生成方法

权利要求书

1.一种基于神经网络的智能仿妆系统，其特征在于，所述仿妆系统包括：

面部属性编码器(FAEnc)，用于提取原图像和参考图像的特征图；

妆容转移模块(MTM)，用于对参考图像的特征图进行处理；

应用妆容解码器(MADec)，用于对所述原图像的特征图和所述妆容转移模块(MTM)输出的妆容矩阵进行解码处理，从而生成仿妆图像。

2.根据权利要求1所述的仿妆系统，其特征在于，

所述面部属性编码器(FAEnc)，用于提取原图像的高分辨率特征图和低分辨率特征图、参考图像的高分辨率特征图和低分辨率特征图。

3.根据权利要求1所述的仿妆系统，其特征在于，

所述妆容转移模块(MTM)，包括第一注意力模块和滑窗注意力模块，其中：

第一注意力模块，用于对参考图像的低分辨率特征图进行处理，通过像素交叉注意力的方式将参考图像的低分辨率特征图与源图像人脸对齐，源图像上的每个位置都对应于参考图像上具有最相似特征的区域，所述参考图像的低分辨率特征图根据软像素对应关系进行变形；

滑窗注意力模块，用于将参考图像的高分辨率特征图与源图像人脸对齐。

4.根据权利要求3所述的仿妆系统，其特征在于，

所述滑窗注意力模块将参考图像的高分辨率特征图与源图像人脸对齐包括：通过薄板样条变换，使参考图像的高分辨率特征图在空间上与源图像人脸粗略地对齐；

利用交错重叠的窗格来分割参考图像的高分辨率特征图，并多次应用所述交叉注意力；

通过基于位置的权重加权求和以输出平滑后的高分辨率妆容矩阵。

5.根据权利要求3或4所述的仿妆系统，其特征在于，

所述应用妆容解码器还用于将变形后的高分辨率妆容矩阵与源图像的高分辨率特征图进行元素相乘；

所述应用妆容解码器还用于将变形后的低分辨率妆容矩阵与源图像的低分辨率特征图进行元素相乘。

6.根据权利要求5所述的仿妆系统，其特征在于，

所述应用妆容解码器，还用于将变形后的高分辨率妆容矩阵与源图像的高分辨率特征图进行元素相乘的结果与将变形后的低分辨率妆容矩阵与源图像的低分辨率特征图进行元素相乘的结果进行融合，并生成最终的仿妆图像。

7.根据权利要求1所述的仿妆系统，其特征在于，

所述应用妆容解码器，还用于通过线性插值操纵变形后的妆容矩阵来实现指定区域、可控浓度的妆容转移。

8.根据权利要求1所述的仿妆系统，其特征在于，还包括：

所述应用妆容解码器，还用于根据薄板样条变换、直方图匹配和线性退火法，通过从粗到细的方式，包括颜色匹配和细节匹配两个阶段，生成将参考图像的妆容转移到源图像人脸的伪真实值；

所述伪真实值用于监督所述神经网络生成器学到所需的映射，为妆容细节的生成提供额外的监督信号。

9.根据权利要求8所述的仿妆系统，其特征在于，

所述颜色匹配包括：将面部区域划分为皮肤、嘴唇和眼周区域，对源图像和所述神经网络生成器所生成妆容转移后图像的相应区域，分别用直方图匹配，使其颜色分布与参考图像相应区域的颜色分布一致，将两个匹配结果用特定权重混合；

所述细节匹配包括：将面部区域划分为皮肤、嘴唇和眼周区域，基于检测到的人脸关键点，将参考图像中的相应区域扭曲使得与源图像中相应的区域对齐，对齐后的参考图像相应区域与颜色匹配阶段获得的伪真实值以特定权重进行混合，并对边缘平滑处理。

10.根据权利要求8所述的仿妆系统，其特征在于，

所述线性退火法，包括：在颜色匹配阶段，逐渐减小混合权重以生成颜色更自然的伪真实值，在细节匹配阶段，在训练前期通过逐渐增加混合权重以增加目标难度，让所述神经网络生成器首先学习全局颜色分布，然后学习局部妆容细节，在训练后期阶段，减少混合权重以避免所述神经网络生成器学到人工痕迹。