[发明专利]基于跳跃连接注意力的引导式人脸图像编辑方法及系统

说明书

本发明提供一种基于跳跃连接注意力的引导式人脸图像编辑方法及系统。该方法包括：获取待编辑的人脸图像和引导图；将待编辑的人脸图像和引导图输入至经训练的基于跳跃连接注意力的引导式人脸图像编辑模型中，得到基于跳跃连接注意力的引导式人脸图像编辑模型输出的经编辑的人脸图像，其中基于跳跃连接注意力的引导式人脸图像编辑模型是通过对样本人脸图像随机提取边线和颜色两方面的引导条件，采用对抗方式从边线和颜色两方面进行引导式人脸图像编辑训练得到的，其中，基于跳跃连接注意力的引导式人脸图像编辑模型用于至少基于加权多尺度损失函数和嵌入跳跃连接注意力机制的残差上采样模块，对待编辑的人脸图像进行引导式编辑以得到经编辑的人脸图像。

技术领域

本发明涉及计算机视觉和图像处理领域，尤其涉及一种基于跳跃连接注意力的引导式人脸图像编辑方法及系统。

背景技术

人脸图像编辑是指对给定的人脸图像进行指定目的的编辑，并使生成的图像看起来真实自然，是计算机视觉中的一个重要任务。人脸图像是生活中应用最广泛的一类图像，广告、杂志和网站每天需要处理大量的人脸图像。尽管存在一些商业编辑软件(如AdobePhotoshop)，但对于大部分人来说，人脸图先编辑仍然是一个费时费力的任务。现有技术中的一些商业软件，如美图秀秀、轻颜相机等，可以通过按键进行一键式操作，然而这些图像编辑软件仅对人脸进行了局部编辑，改动范围较小；且不能对人脸的五官表情进行有效编辑(如编辑眼睛和嘴巴的形状)。

通常，生成网络中的浅层特征图具有清晰的纹理，但缺乏语义信息，深层特征图包含抽象语义信息但缺乏纹理细节。编码的过程中，输入图像经过大量下采样难免纹理信息丢失。在解码网络将抽象语义特征重建为人脸图像的过程中，由于引导条件的限制，引导式人脸图像编辑更容易出现图像重建纹理模糊的问题。跳跃连接是图像处理任务中广泛使用的方法，对提高图像生成质量有重要作用。跳跃连接建立了编码特征和解码特征间的特征融合通道，解码网络可以融合编码特征提高生成图像质量。然而普通的跳跃连接是同一位置特征的直接拼接或相加，对图像生成质量的提高有限。

发明内容

本发明提供一种基于跳跃连接注意力的引导式人脸图像编辑方法及系统，克服了现有技术中难以人脸图像进行引导式编辑问题，基于边线和颜色的引导式人脸图像编辑方式，根据给定的颜色和边线进行人脸图像编辑，以得到引导式编辑所期待的结果。本发明采用新的引导式训练方式并提出新的多尺度加权损失函数来确保引导条件的有效性，并且将新的跳跃连接注意力机制结合到残差上采样模块，从庞杂特征中挑选重要特征，改善编码特征和解码特征的融合，在颜色和边线的引导下生成连贯清晰的纹理，以避免由于输入引导条件导致的局部纹理扭曲，从而取得了优异的引导式编辑效果。

具体地，本发明实施例提供了以下技术方案：

第一方面，本发明的实施例提供一种基于跳跃连接注意力的引导式人脸图像编辑方法，包括：

获取待编辑的人脸图像和引导图；

将所述待编辑的人脸图像和所述引导图输入至经训练的基于跳跃连接注意力的引导式人脸图像编辑模型中，得到所述基于跳跃连接注意力的引导式人脸图像编辑模型输出的经编辑的人脸图像，其中所述基于跳跃连接注意力的引导式人脸图像编辑模型是通过对样本人脸图像随机提取边线和颜色两方面的引导条件，采用对抗方式从边线和颜色两方面进行引导式人脸图像编辑训练得到的；

其中，所述基于跳跃连接注意力的引导式人脸图像编辑模型用于至少基于加权多尺度损失函数和嵌入跳跃连接注意力机制的残差上采样模块，对所述待编辑的人脸图像进行引导式编辑以得到所述经编辑的人脸图像。

进一步地，该基于跳跃连接注意力的引导式人脸图像编辑方法还包括：

所述基于跳跃连接注意力的引导式人脸图像编辑模型包括生成网络层和判别网络层；