[发明专利]基于生成对抗网络的图像风格迁移方法、装置及相关设备

权利要求书

1.一种基于生成对抗网络的图像风格迁移方法，其特征在于，包括：

构建包括生成器和判别器的生成对抗网络模型，并初始化所述生成器的权重参数，所述生成器包括编码器Ge和自注意机制模块，所述编码器Ge包括内容掩码生成器Gc和注意力掩码生成器Ga；

获取训练样本图像X；

利用所述训练样本图像X对所述生成对抗网络模型进行训练，直至所述生成器和判别器达到纳什平衡，从而得到训练好的生成对抗网络模型；

将待风格迁移图像输入至训练好的生成对抗网络模型中，得到风格迁移后图像；

其中，利用所述训练样本图像X对所述生成对抗网络模型进行训练具体包括以下步骤：

步骤a：通过所述内容掩码生成器Gc对所述训练样本图像X进行风格初始迁移，得到风格化初始图像，然后利用所述自注意机制模块对所述风格化初始图像进行风格突出处理，得到内容掩码图像C1；其中所述内容掩码生成器Gc包括依次连接的归一化模块、下采样模块和上采样模块；所述归一化模块用于对所述训练样本图像X进行归一化处理；所述下采样模块用于提取归一化处理后的所述训练样本图像X的图像特征，所述上采样模块用于将预设的风格特征与所述图像特征进行合成，从而得到风格化初始图像；

步骤b：通过所述注意力掩码生成器Ga分离所述训练样本图像X的前景和背景，从而得到前景注意力掩码图像Af和背景注意力掩码图像Ab；

步骤c：将所述内容掩码图像C1和所述前景注意力掩码图像Af进行像素级乘法，得到前景图像F1；

步骤d：将所述训练样本图像X与所述背景注意力掩码图像Ab进行像素级乘法，得到背景图像B1；

步骤e：将所述前景图像F1和所述背景图像B1进行像素级加法，从而得到风格化目标图像；

步骤f：利用所述判别器对所述风格化目标图像进行真假打分，从而得到打分结果，并根据所述打分结果更新所述生成器的权重参数；

步骤g：将所述风格化目标图像作为训练样本图像输入至更新权重参数后的所述生成器中，并重复执行上述步骤a~步骤f，直至所述生成器和所述判别器达到纳什平衡。

2.根据权利要求1所述的图像风格迁移方法，其特征在于，所述归一化模块包括3层归一化层；

所述下采样模块包括依次连接的4个卷积层+最大池化层组合以及6个或者9个残差层，所述卷积层为10层卷积核为3*3的卷积层，所述最大池化层为10层2*2的最大池化层；其中所述下采样模块的所述卷积层均利用ReLU进行非线性激活；

所述上采样模块包括依次连接的4个反卷积层+卷积层组合，所述反卷积层为10层卷积核为2*2的反卷积层，所述上采样模块的所述卷积层为10层卷积核为3*3的卷积层，其中所述上采样模块的所述卷积层利用ReLU进行非线性激活。

3.根据权利要求1所述的图像风格迁移方法，其特征在于，所述判别器包括依次连接的2层步长为2且filter为64的Convolution-BatchNorm-LeakyReLU层、2层步长为2且filter为128的Convolution-BatchNorm-LeakyReLU层、2层步长为2且filter为256的Convolution-BatchNorm-LeakyReLU层、2层步长为2且filter为512的Convolution-BatchNorm-LeakyReLU层、1层步长为1且filter为1的Convolution-biase层以及sigmoid层。

4.根据权利要求1所述的图像风格迁移方法，其特征在于，所述生成器的权重参数包括lambda A、lambda B、lambda identity、batchsize大小、niter、niter decay、display_freq以及print_freq；

所述初始化所述生成器的权重参数包括：设置所述权重参数的初始值分别为：所述lambda A的取值范围为0~10，所述lambda B的取值范围为0~10，所述lambda identity的取值范围为0~1，所述batchsize的大小为16、32或者64，所述niter 的取值为1，所述niterdecay的取值为1，所述display_freq和所述print_freq的取值均为1。