[发明专利]中国书法文字图像风格迁移的方法、系统、智能终端

权利要求书

1.一种中国书法文字图像风格迁移的方法，其特征在于，所述中国书法文字图像风格迁移的方法包括：

从ttf字库中制作源风格图片和目标风格图片各n张，输出图片为jpg格式，得到2n张图片，作为训练样本；

源风格图片用于提供内容特征，目标风格图片用于提供风格特征，两者用于训练生成对抗网络，得到生成器训练生成的图片以及鉴别器判别真伪的结果；

将制作得到的训练集输入到对抗网络中，迭代更新生成器和鉴别器，生成器生成假目标混淆鉴别器，鉴别器识别真假目标提升自己的鉴别能力，直至两者达到纳什平衡，获得书法风格迁移模型。

2.如权利要求1所述的中国书法文字图像风格迁移的方法，其特征在于，所述源风格图片用于提供内容特征，目标风格图片用于提供风格特征，两者用于训练生成对抗网络，得到生成器训练生成的图片以及鉴别器判别真伪的结果，具体按照以下步骤实施：

(1)对获取到的数据集进行预处理，预处理包括统一图片尺寸及清除空白图片；

(2)设置生成对抗网络，由1个生成器G和1个鉴别器D组成，生成器包括2个编码器，记为内容编码器Ec和风格编码器Es，和1个解码器De,编码器和解码器之间包含1个AdaIN模块和1个Mask模块，生成对抗网络有3个损失函数，对抗性损失、内容损失、风格损失；

(3)生成器G负责把预处理后源风格图片训练成目标风格样式的图片，然后更新内容损失和风格损失，得到生成图片，鉴别器D将预处理后的目标样式的图片和生成器G生成的图片作为输入，更新对抗性损失，预测图片是生成器生成的图片还是源风格样式的图片。

3.如权利要求1所述的中国书法文字图像风格迁移的方法，其特征在于，所述将制作得到的训练集输入到对抗网络中，迭代更新生成器和鉴别器，生成器生成假目标混淆鉴别器，鉴别器识别真假目标提升自己的鉴别能力，直至两者达到纳什平衡，获得书法风格迁移模型，具体按照以下步骤实施：

(1)选取预处理后的任意一张源风格图片C作为样本输入到编码器Ec中，得到源风格图片的特征x，选取预处理后的任意一张目标风格图片S作为样本输入到编码器Es中，得到目标风格图片的特征y；

(2)将得到的源风格图片的内容特征x和目标风格图片的风格特征y输入到AdaIN模块，首先对源风格图片的内容特征x去风格化得到特征ω，具体公式如下：

其中，x表示内容图像的内容特征，y是风格图像的风格特征，μ(x)表示内容特征的均值，σ(x)表示内容特征的方差，ω表示白化操作去风格化后的特征；然后对源风格图片融入目标风格图片的风格得到AdaIN(x，y)，具体的公式如下：

AdaIN(x，y)＝ω·σ(y)+μ(y)(2)

其中y表示风格图像的风格特征，σ(y)表示目标风格图像的标准差，μ(y)表示目标风格图像的均值，ω是第一步白化操作去风格化后的特征，AdaIN(x，y)表示源风格图片去除原有的风格再融入目标样式的风格得到特征；

(3)将得到的源风格图片特征x和目标风格图片特征y，以及得到的结果AdaIN(x，y)输入到mask模块中得到特征z，具体的公式如下：

z＝M(x，y)·x+[1-M(x，y)]·AdaIN(x，y)(3)

其中M(x，y)表示mask模块生成的掩码，x表示内容编码器提取的内容特征，y是风格编码器提取的风格特征，AdaIN(x，y)表示自适应实例归一化的结果，z表示融合源风格图片特征、目标风格图片特征及AdaIN(x，y)特征的结果；

(4)将得到的特征z输入到解码器De中，生成一张目标风格样式的图片S’；

(5)将生成的图片S’输入内容编码器Ec和风格编码器Es，计算内容损失和风格损失，两者均采用L₁损失进行计算，具体的计算公式如下：

其中L_content表示内容损失，L_style表示风格损失，x表示内容编码器Ec提取的内容特征、E_c(S’)表示生成器生成的假图像S’经过内容编码器Ec提取的内容特征、E_s(S’)表示假图像S’经过风格编码器Es后提取的风格特征、表示生成图像S’在内容上服从原风格图像S概率分布的期望、表示生成图像S’在风格上服从原风格图像S概率分布的期望；

(6)将生成的图片S’和预处理得到的目标风格图片S输入到鉴别器D，计算对抗损失L_adv，具体的计算公式如下：

L_adv＝E_x[log(D(x))]+E_S’[log(1-D(S’))](6)

其中L_adv表示对抗损失，x表示源风格图像S经过内容编码器Ec提取的内容特征、D(x)表示源风格图像S输入鉴别器De后的输出值、D(S’)表示生成的假图像S’输入鉴别器De的输出值、E_x表示源风格图像S服从真实数据概率分布的期望、E_S’表示假图像S’服从生成数据概率分布的期望；

(7)最终总的损失函数为生成器损失和鉴别器损失的总和，表示如下：

L_total＝L_adv+α·L_content+β·L_style(7)

其中L_total表示对抗网络的损失总和，L_adv表示鉴别器的对抗损失，L_content表示生成器的内容损失，L_style表示生成器的风格损失，α和β别表示子损失函数所占的权重比例，经过对抗性训练，不断更新网络参数，优化生成器和鉴别器的损失值，损失值越小表明训练越成功，也就是训练生成的图片风格越接近目标样式的图片。