[发明专利]基于跳跃连接注意力的引导式人脸图像编辑方法及系统

权利要求书

1.一种基于跳跃连接注意力的引导式人脸图像编辑方法，其特征在于，包括：

获取待编辑的人脸图像和引导图；

将所述待编辑的人脸图像和所述引导图输入至经训练的基于跳跃连接注意力的引导式人脸图像编辑模型中，得到所述基于跳跃连接注意力的引导式人脸图像编辑模型输出的经编辑的人脸图像，其中所述基于跳跃连接注意力的引导式人脸图像编辑模型是通过对样本人脸图像随机提取边线和颜色两方面的引导条件，采用对抗方式从边线和颜色两方面进行引导式人脸图像编辑训练得到的；

其中，所述基于跳跃连接注意力的引导式人脸图像编辑模型用于至少基于加权多尺度损失函数和嵌入跳跃连接注意力机制的残差上采样模块，对所述待编辑的人脸图像进行引导式编辑以得到所述经编辑的人脸图像。

2.根据权利要求1所述的基于跳跃连接注意力的引导式人脸图像编辑方法，其特征在于，所述基于跳跃连接注意力的引导式人脸图像编辑模型包括生成网络层和判别网络层；

其中，所述生成网络层包括编码网络层和解码网络层，所述生成网络层用于基于嵌入所述跳跃连接注意力机制的所述残差上采样模块基于编码特征和解码特征的互相关注意力，将不同位置和/或不同通道的编码特征融合，并从编码网络传递到解码网络，并用于基于所述加权多尺度损失函数从边线和颜色两个方面对所述待编辑的人脸图像进行引导式编辑以得到所述经编辑的人脸图像；

所述判别网络层用于判别通过所述生成网络层输出的所述经编辑的人脸图像的真实程度。

3.根据权利要求2所述的基于跳跃连接注意力的引导式人脸图像编辑方法，其特征在于，所述基于跳跃连接注意力的引导式人脸图像编辑模型是通过对样本人脸图像随机提取边线和颜色两方面的引导条件，采用对抗方式从边线和颜色两方面进行引导式人脸图像编辑训练得到的，包括：

选取图像真值；

生成随机掩码；

随机生成边线引导条件；

随机生成颜色引导条件；

固定所述生成网络层，输入所述随机掩码、所述边线引导条件、所述颜色引导条件至所述生成网络层以得到经编辑的人脸图像，并基于损失函数L_D优化所述判别网络层；以及

固定所述判别网络层，并基于损失函数L_G优化所述生成网络层。

4.根据权利要求1所述的基于跳跃连接注意力的引导式人脸图像编辑方法，其特征在于，所述加权多尺度损失函数通过以下步骤确定：

确定动态权重；

利用卷积从所述解码网络层的多尺度特征图中提取图像内容；

利用canny算法提取图像边线；

确定所述加权多尺度损失函数。

5.根据权利要求2所述的基于跳跃连接注意力的引导式人脸图像编辑方法，其特征在于，所述基于嵌入所述跳跃连接注意力机制的所述残差上采样模块基于编码特征和解码特征的互相关注意力，将不同位置和/或不同通道的编码特征融合，并从编码网络传递到解码网络，包括：

通过跳跃连接位置注意力机制，将所述生成网络层中的编码网络层的第N层的特征通过跳跃连接分别引入到所述解码网络层的第M层，利用注意力机制计算不同位置的编码特征和解码特征之间相关关系，并基于所述相关关系将不同位置的多个特征进行融合，其中，N和M的数值不相同；以及

通过跳跃连接通道注意力机制，分别将编码特征和对应尺寸的解码特征通过跳跃连接进行拼接，运用通道注意力机制，计算不同通道的编码特征和解码特征的之间相关关系，基于所述相关关系，将不同通道的多个特征融合。

6.根据权利要求5所述的基于跳跃连接注意力的引导式人脸图像编辑方法，其特征在于，所述通过跳跃连接位置注意力机制，将所述生成网络层中的编码网络层的第N层的特征通过跳跃连接分别引入到所述解码网络层的第M层，利用注意力机制计算不同位置的编码特征和解码特征之间相关关系，并基于所述相关关系将不同位置的多个特征进行融合，其中，N和M的数值不相同，包括：

采用块匹配融合的方式，分别将特征图剪裁为3×3特征块，并将卷积块作为卷积和反卷积计算的卷积核分别与解码特征进行特征融合。