[发明专利]基于少量样本的风格字符生成方法

摘要

本发明公开一种基于少量样本的风格字符生成方法，以若干种风格字符(手写体风格或者印刷体风格)组成风格参考字符数据集，以及一种标准字体的字符作为字符内容原型数据源，使用基于深度生成对抗网络的图像翻译模型，训练出一个字符风格迁移的字符生成模型；该模型能够以任意给定的少量(甚至一个)带有某种风格(书写体/印刷体)的字符作为风格参考样板，生成带有同种书写/印刷风格的任意字符；生成字符的内容则由输入的内容原型(标准字体)来决定。

主权项

1.一种基于少量样本的风格字符生成方法，其特征在于：以若干种风格字符组成风格参考字符数据集，以及一种标准字体的字符作为字符内容原型数据源，使用基于深度生成对抗网络的图像翻译模型，训练出一个字符风格迁移的字符生成模型；该模型能够以少量个或者甚至一个带有风格的字符作为风格参考样板，生成带有同种书写或印刷风格的任意字符，生成字符的内容则由输入的带有标准风格的内容原型来决定；所述字符生成模型由内容原型编码器Content Prototype Encoder，Encp，风格参考编码器Style Reference Encoder，Encr和解码器Decoder，Dec所组成，因为两个编码器从结构上来说是并列的关系，因此，该深度模型网络的总层数是12层；所述内容原型编码器Content Prototype Encoder，Encp，输入数据为一个带有标准风格的字符（x0j），表示成长宽为64*64，值域在[0，255]之间的的灰度图片，输出为经过若干个残差单元或者直接连接的各级卷积特征；该内容原型编码器由连续的间隔步幅值为2的卷积运算所组成，用于提取所输入的标准字符（x0j）从低级到高级的各级特征，每级特征较之其上一级特征，特征长宽减半，其所得到的标准字符的最高级特征，长宽均为1；所述风格参考编码器Style Reference Encoder，Encr，其输入为带有某一种风格N个不同字符（{xib1, xib2,…, xibN}, 风格用i来表示），同样表示成长宽为64*64，值域在[0,255]之间的的灰度图片；输出为对各级卷积特征对N进行平均运算后，再经过若干个残差单元（Residual Blocks）或者直接连接的各级卷积特征；该风格参考编码器基本结构与Encp相似，但为了处理一次性输入的多个（N个）带有某种书写风格字符（假设为第i个风格, {xib1, xib2,…, xibN}）的平均特征，对应这些N个字符的N个卷积特征首先需要对N进行平均运算，从而得出这N个字符（{xib1, xib2,…, xibN}）的1个各级平均卷积特征，此后再放入若干个残差单元或者直接连接后送入解码器Dec；所述内容原型编码器Encp、风格参考编码器Encr对各自输入数据进行特征提取，并将提取过后的信息串联后输入解码器网络Decoder, Ded；Dec解码器网络对从内容原型编码器Encp和风格参考编码器Encr的输入来的各级卷积特征进行串联后进行恢复及重建，输出带有某一种的风格的生成字符（G（x0j, xib1, xib2,…, xibN）），亦表示为同样表示成长宽为64*64，值域在[0,255]之间的灰度图片；该生成字符的内容来源于输入到Encp的标准字符（x0j），风格来源于输入到Encr的N个带有第i个风格的字符（（{xib1, xib2,…, xibN}）；该解码器由连续的卷积间隔步幅值为2的反卷积运算所组成，即后一级特征的长宽是前一级特征的两倍，最终生成与输入的无风格标准字符长宽一致的具有特定风格的字符；包括以下步骤：步骤一、训练开始之前，需要对字符生成模型的参数进行随机初始化, 从而给定训练的开始状态；步骤二、我们使用随机优化的训练策略来对该字符生成模型进行训练, 训练目标即为最小化字符生成模型的训练误差；步骤三、当的值不再继续下降后，停止训练，此时训练所得的模型参数即称为训练完成的字符生成模型；步骤四、获取某个书写风格的任意若干个字符（假设为N个，一般N<=32，{xib1，xib2，…，xibN}），并将此N个字依次输入到训练完成的字符生成模型的风格参考编码器Encr，得出N份各级卷积特征，对应N个不同的同风格字符；步骤五，对由Encr计算得出的, 对应于N个输入的带有同一种书写风格的字符的N份各级卷积特征进行平均计算, 得出N份各级卷积特征的一份平均各级卷积体征；步骤六、对步骤五所得出的各级卷积特征进行相应的残差单元操作或直接连接操作，保存下各级特征的计算结果，作为此后输入解码器的风格参考特征；步骤七、向内容原型编码器Encp输入欲生成字符对应的标准字体字符（x0j），计算出各级卷积特征后，进行相应的残差单元或者直接连接操作；步骤八、将两个编码器所得到的各级卷积特征，分别串联到解码器的各级输出特征之上，从而生成欲产生的带有特定风格的任意字符，G（x0j，xib1，xib2，…，xibN）。