[发明专利]一种基于多任务生成对抗网络的字体风格迁移方法和系统

权利要求书

1.一种基于多任务生成对抗网络的字体风格迁移方法，其特征在于，包括下面步骤：

获取包含多种字体的样本集，并对每种字体风格迁移条件进行标注；

构建生成对抗网络模型；

将所述样本集和所述字体风格迁移条件输入所述生成对抗网络模型，对所述生成对抗网络模型进行训练，并根据训练结果对所述生成对抗网络模型进行参数优化直至网络收敛稳定，其中，优化过程步骤为：1)初始化生成器和判别器的网络参数，以及设置训练超参数；2)采样训练，输入一个批次训练样本，进行前向推理，计算得到判别器的损失，通过梯度下降算法优化判别器的参数；3)当步骤2)执行完之后，计算生成器的损失，使用梯度下降优化生成网络参数；4)根据步骤2)和步骤3)完成了一次生成器与判别器交叉优化，并根据网络收敛情况以及损失的大小，重复上述步骤2)和步骤3)；

获取所述生成对抗网络模型训练后得到的生成器。

2.根据权利要求1所述的基于多任务生成对抗网络的字体风格迁移方法，其特征在于，所述的构建生成对抗网络模型包括步骤：

构建生成对抗网络的生成器，在所述生成器中加入特征注意力模块，所述特征注意力模块用于将卷积特征图转换为注意力特征图。

3.根据权利要求2所述的基于多任务生成对抗网络的字体风格迁移方法，其特征在于，所述的将卷积特征图转换为注意力特征图的步骤为：

将卷积特征图X输入所述特征注意力模块；

卷积特征图X∈R^C×H×W经1×1卷积得到F、G、M三个特征空间；F、G、M对应的通道数量分别为C/8、C/8和C，C代表卷积特征图的通道数；H代表卷积特征图的宽度，W代表卷积特征图的高度；

将特征空间F转置后与特征空间G进行矩阵乘法操作，得到特征注意力层；

采用Softmax得到所述特征注意力层的参数：

其中，P_j,i表示第i个位置的特征对第j个位置的特征的影响权重值，i和j的范围为1～H×W；

F_i表示:F特征空间第i个像素位置上所有通道的值的行向量，G_j表示：G特征空间第j个像素位置上所有通道的值的列向量；

两个位置的特征相似性同它们之间的相关性成正相关；

将所述特征注意力层转置后与特征空间M进行矩阵乘法操作，得到所述特征注意力模块输出的注意力特征图P：

P＝(P₁,P₂,…,P_(HxW))，P∈R^C×H×W；

其中，M_i表示：M特征空间第i个像素位置上所有通道的值的行向量，P_j表示：第j个通道的特征图；i和j的范围为1～H×W。

4.根据权利要求1所述的基于多任务生成对抗网络的字体风格迁移方法，其特征在于，所述的构建生成对抗网络模型包括步骤：

构建生成对抗网络的判别器，在所述判别器中添加全连接层作为辅助分类器，所述辅助分类器用于对迁移结果的字体进行分类。

5.根据权利要求1所述的基于多任务生成对抗网络的字体风格迁移方法，其特征在于，所述的获取包含多种字体的样本集的步骤为：

确定作为样本的、预定数量的且互不相同的文字；

收集包括目标迁移字体在内多种不同字体的、每个文字的格式的图片；

对收集到的所述图片进行图像二值化处理。

6.根据权利要求1～5中任一项所述的基于多任务生成对抗网络的字体风格迁移方法，其特征在于，所述样本集包括训练集和测试集，

所述训练集用于对所述生成对抗网络模型进行训练；

所述测试集用于对训练后的所述生成对抗网络模型的准确度进行验证。

7.根据权利要求1所述的基于多任务生成对抗网络的字体风格迁移方法，其特征在于：在对所述生成对抗网络模型进行训练时，采取均匀采样方法对所述样本集进行采样。