[发明专利]一种基于神经网络的智能仿妆系统及仿妆生成方法

说明书

本发明提供了一种基于神经网络的智能仿妆系统，该仿妆系统包括：面部属性编码器(FAEnc)，用于提取原图像和参考图像的特征图；妆容转移模块(MTM)，用于对参考图像的特征图进行处理；应用妆容解码器(MADec)，用于对所述原图像的特征图和所述妆容转移模块(MTM)输出的妆容矩阵进行解码处理，从而生成自然逼真的仿妆图像，在保留源人脸的面部细节的同时精准迁移妆容细节，解决了在仿妆生成任务中细节被丢失，只能复制整体妆容风格，不能精确地迁移妆容细节的问题。

技术领域

本发明属于智能仿妆技术领域，特别涉及一种基于神经网络的智能仿妆系统及仿妆生成方法。

背景技术

现有技术中，通过将妆容风格视为颜色分布，导致空间信息忽略，有关妆容细节的高频信息被丢失，只能复制整体妆容风格，不能精确地转移妆容细节；通过传统的像素级交叉注意力来捕捉源图像和参照图像之间的对应关系，需要大量计算开销，限制了隐藏特征图的大小，导致颜色渗漏问题；在妆容转移过程中，由于图像被降采样为低分辨率的特征图，高频信息损失，导致在仿妆过程中应保持不变的细节属性发生变化。

发明内容

针对上述问题，本发明提供了一种基于神经网络的智能仿妆系统，以解决现有技术中，在仿妆生成任务中细节被丢失，只能复制整体妆容风格，不能精确地迁移妆容细节的问题。

根据本发明实施例的第一方面，提供了一种基于神经网络的智能仿妆系统，包括：

面部属性编码器(FAEnc)，用于提取原图像和参考图像的特征图；

妆容转移模块(MTM)，用于对参考图像的特征图进行处理；

应用妆容解码器(MADec)，用于对所述原图像的特征图和所述妆容转移模块(MTM)输出的妆容矩阵进行解码处理，从而生成仿妆图像。

优选地，所述所述面部属性编码器(FAEnc)，用于提取原图像的高分辨率特征图和低分辨率特征图、参考图像的高分辨率特征图和低分辨率特征图。

优选地，所述妆容转移模块(MTM)，包括第一注意力模块和滑窗注意力模块，其中：

第一注意力模块，用于对参考图像的低分辨率特征图进行处理，通过像素交叉注意力的方式将参考图像的低分辨率特征图与源图像人脸对齐，源图像上的每个位置都对应于参考图像上具有最相似特征的区域，所述参考图像的低分辨率特征图根据这些软像素对应关系进行变形；

滑窗注意力模块，用于将参考图像的高分辨率特征图与源图像人脸对齐。

优选地，所述滑窗注意力模块，用于将参考图像的高分辨率特征图与源图像人脸对齐包括：通过薄板样条变换，使参考图像的高分辨率特征图在空间上与源图像人脸粗略地对齐；

利用交错重叠的窗格来分割参考图像的高分辨率特征图，并多次应用所述交叉注意力；

通过基于位置的权重加权求和以输出平滑后的高分辨率妆容矩阵。

优选地，所述应用妆容解码器还用于将变形后的高分辨率妆容矩阵与源图像的高分辨率特征图进行元素相乘；

所述应用妆容解码器用于将变形后的低分辨率妆容矩阵与源图像的低分辨率特征图进行元素相乘。

优选地，所述应用妆容解码器，还用于将变形后的高分辨率妆容矩阵与源图像的高分辨率特征图进行元素相乘的结果与将变形后的低分辨率妆容矩阵与源图像的低分辨率特征图进行元素相乘的结果进行融合，并生成最终的仿妆图像。

优选地，所述应用妆容解码器，还用于通过线性插值操纵所述变形后的妆容矩阵来实现指定区域、可控浓度的妆容转移。