[发明专利]一种基于参考图片的人脸草图着色方法

权利要求书

1.一种基于参考图片的人脸草图着色方法，其特征在于，其步骤为：

步骤1、利用真实的人脸图片，制作人脸草图与真实人脸图片训练集；

步骤2、构建基于参考图片的人脸草图着色生成对抗网络模型；

步骤3、依据步骤1制作的训练数据集来对步骤2构建的模型进行训练，保存训练得到的模型参数；

步骤4、将一张人脸草图和一张参考图片作为网络的输入，利用步骤3学习得到的参数重建一张具有参考图片色彩风格的人脸图像作为输出。

2.根据权利要求1所述的一种基于参考图片的人脸草图着色方法，其特征在于：步骤1中使用CelebA-HQ数据集，用SketchKeras模型获取真实图片所对应的草图，来制作成对的人脸草图和真实人脸图片数据集。

3.根据权利要求1或2所述的一种基于参考图片的人脸草图着色方法，其特征在于：步骤2中构建的生成对抗网络包括人脸草图编码器、参考图片编码器、基于交叉注意力的特征融合模块、基于Swin Transformer块的解码器、引导编码器和判别器。

4.根据权利要求3所述的一种基于参考图片的人脸草图着色方法，其特征在于：所述的人脸草图编码器、参考图片编码器、基于交叉注意力的特征融合模块和基于SwinTransformer块的编码器构成的U-Net生成器网络；其中：

人脸草图编码器，获取草图的上下文结构信息；

参考图片编码器，获得参考图片的色彩风格的上下文信息；

基于交叉注意力的特征融合模块，对草图特征和参考图片特征进行融合；

基于Swin Transformer块的解码器，在得到的融合特征上进行解码，并在该融合特征上建立长距离依赖关系，最终解码生成具有参考图片色彩风格的真实人脸图像；

引导解码器，基于融合特征，引导生成一张图像来提升图片的质量和避免网络中间层的梯度消失问题；

判别器，对生成器生成的图片进行判别，促使生成器生成的图片更加真实，细节更加细腻。

5.根据权利要求4所述的一种基于参考图片的人脸草图着色方法，其特征在于：所述的人脸草图编码器由8个编码单元组成，每个单元包含一个卷积核为4，步长为2的卷积层，一个批归一化层，一个倾斜系数为0.2的激活函数LeakyReLU。

6.根据权利要求5所述的一种基于参考图片的人脸草图着色方法，其特征在于：所述的参考图片编码器由8个编码单元组成，每个单元包含一个卷积核为4，步长为2的卷积层，一个批归一化层，一个倾斜系数为0.2的激活函数LeakyReLU。

7.根据权利要求6所述的一种基于参考图片的人脸草图着色方法，其特征在于：所述的基于Swin Transformer块的解码器由7个解码单元组成，每个单元包含一个卷积核为4，步长为2的转置卷积层，每一个编码单元后面跟着两个连续的Swin Transformer块，每个SwinTransformer块由W-WSA、SW-WSA、LN和MLP组成。

8.根据权利要求7所述的一种基于参考图片的人脸草图着色方法，其特征在于：所述的引导解码器使用8个连续的卷积核大小为3，步长为2，填充大小为1的转置卷积和倾斜度为0.2的LeakeyReLU组成。

9.根据权利要求8所述的一种基于参考图片的人脸草图着色方法，其特征在于：所述的判别器由5组卷积核大小为4，步长为2，填充为2的卷积层、一个批归一化层模块组成和一个倾斜度为0.2的LeakeyReLU组成。

10.根据权利要求8所述的一种基于参考图片的人脸草图着色方法，其特征在于：步骤4采用Adam优化算法优化网络模型，网络的损失函数包含三个部分：生成图片的感知损失，对抗损失，及引导解码器的重建损失，训练时，把上述的损失放在一起进行优化。