[发明专利]基于少量样本的风格字符生成方法

说明书

本发明公开一种基于少量样本的风格字符生成方法，以若干种风格字符(手写体风格或者印刷体风格)组成风格参考字符数据集，以及一种标准字体的字符作为字符内容原型数据源，使用基于深度生成对抗网络的图像翻译模型，训练出一个字符风格迁移的字符生成模型；该模型能够以任意给定的少量(甚至一个)带有某种风格(书写体/印刷体)的字符作为风格参考样板，生成带有同种书写/印刷风格的任意字符；生成字符的内容则由输入的内容原型(标准字体)来决定。

技术领域

本发明涉及一种风格字符生成方法，尤其涉及一种基于少量样本风格的手写或印刷体字符生成方法。

背景技术

根据Z.H.Lian等人在SIGGRAPH ASIA 2016发表的论文《Automatic generationof large-scale handwriting fonts via style learning》中描述的模型，用户可根据其提供的接口输入自己手写的部分字符，从而得到一些模型输出的风格类似的字符。例如，用户提供266个字符输入到模型中可以得到27533个风格类似的字符。但是，该模型的训练需要提供大量的标注数据，并且需要用户较为规范的输入才能得到预期的结果，在较少标注数据的情况下的效果不好。模型的重点在于分离出字体的各个笔画，再输入到神经网络中进行学习，从而根据笔画的风格来学习到整个字体的风格。但其构造仅仅是简单的多层卷积网络，对于稍微复杂的输入例如较潦草的字符，则效果一般。并且模型的泛化能力不足。

zi2zi是一种基于风格转换通用模型pix2pix（Isola， Phillip and Zhu， Jun-Yan and Zhou， Tinghui and Efros， Alexei A，《Image-to-Image Translation withConditional Adversarial Networks》）的字符风格学习模型，它通过16层深度卷积/反卷积网络来实现从标准字体到有风格字体到风格迁移任务。每一种手写体的风格信息由一个1*128维的随机向量来表示，表示多个手写体风格的随机向量矩阵我们称之为categoryembedding。

将表示风格信息的随机向量输入16层的深度卷积/反卷积网络中，使标准字体向用户手写风格靠近。当训练样本足够多时，能够生成较好的字体。然而模型参数数量巨大，难以训练，并且需要很多训练样本才能够完成任务。同时，因为训练时需要固定所有涉及到的手写字体，该模型无法处理未知手写字体的生成任务。

基于以上模型，Z.H.Lian等在SIGGRAPH ASIA 2017发表的论文《DCFont: an end-to-end deep chinese font generation system》则提出了原本模型的改进方法：引入条件生成式对抗网络（cGAN），将学习笔画轮廓替换为在标准字体（例如楷体）的基础上加入手写风格的特征。手写特征提取则由生成器（encoder-decoder）和VGG-16深度卷积网络完成。然而模型的问题仍然是无法处理很潦草的输入字符风格问题，并且需要较多的训练样本。

发明内容

本发明的目的是提供一种基于少量样本的风格字符生成方法，该手写字符生成方法实现了根据同一风格的少量(甚至一个)字符生成相应风格的字体, 包括手写体和印刷体。

为达到上述目的，本发明采用的技术方案是：一种基于少量样本风格字符生成方法，其特征在于：以若干种(多余50种)手写体字符为手写体风格迁移目标，或者若干种常见印刷体(多余50种)字符为印刷体风格迁移目标, 以及一种标准字体的字符作为风格迁移源，使用基于深度生成对抗网络的图像翻译模型，训练出一个字符风格迁移的字符生成模型；

所述字符生成模型由内容原型编码器Content Prototype Encoder，Enc_p，风格参考编码器Style Reference Encoder，Enc_r和解码器Decoder，Dec所组成，因为两个编码器从结构上来说是并列的关系，因此，网络的总层数是12层；