[发明专利]一种基于矢量量化的变分自编码机的多风格字体生成方法

权利要求书

1.一种基于矢量量化的变分自编码机的多风格字体生成方法，其特征在于，包括以下步骤：

步骤1、建立固定字体风格的汉字图片的取样样本；

步骤2、根据步骤1中的取样样本，通过调试过的固定尺寸的框和步长依次对取样样本的字符进行切割，经调试后的框内只包括一个字，将框内的数据读取出来，转成图片保存，即切割出单个字体的图像，切割后随机选取图像作为需要扩充的风格字体的数据集，作为最终训练数据；

步骤3、将步骤2中得到的最终训练数据输入网络结构进行迭代和训练，并将网络输出得到的损失值输入优化器来更新编码器权重和解码器权重，以及量化隐向量的参数值；

步骤4、将单个训练样本和待扩展的汉字数据样本带入经步骤3更新的编码器和解码器中进行重构，得到进行风格扩充后的字体样本；

所述步骤3的具体过程为：

步骤3.1、选取步骤2中任意一个字体风格的图像style_img，输入到编码器E，字体风格图像style_img经过编码器网络的底层计算，得到该图像的底层特征图h_bottom＝E_bottom(style_img)，代表输入图像的结构信息；再将底层特征图经过编码器网络的上层计算，得到该图像的上层特征图h_top＝E_top(h_bottom)，代表该输入图像的细节信息；

步骤3.2、将步骤3.1得到的上层特征图h_top根据公式(1)进行矢量量化，得到上层特征图对应的隐空间向量e_top；

其中，E(x)表示解码器的输出；e_j是服从某一分布的随机向量，表示隐变量，Quantize()代表量化的函数，e_k代表量化后得到对应的隐空间的向量，k代表下标，argmin代表取(E(x)-e_j)所有值中最小值对应的向量下标；

步骤3.3、将步骤3.2中得到的e_top经过解码器上层网络D_top，再将输出和底层特征图h_bottom合并输入到矢量量化模块，得到底层特征图对应的隐空间向量e_bottom；

步骤3.4、将步骤3.2、步骤3.3中通过矢量量化得到的对应隐空间向量e_top、e_bottom输入到底层解码器D_bottom中进行重构，输出重构后的图像generated_img；

步骤3.5、通过网络损失函数计算出变分自编码机中整个网络的损失，使用Adam梯度下降方法来更新编码器网络、解码器网络和矢量量化网络中的权重Adam(w，Loss_w，α)，其中α表示梯度下降的学习率且α＝0.003，Loss_w表示整个网络的损失，w表示整个网络中的权重；当解码器网络输入e后输出的结果D(e)≈输入图像x时，则generated_img≈style_img，得到的整个网络中的权重w具有了训练数据中字体对应的风格特征，训练完成。

2.根据权利要求1所述的一种基于矢量量化的变分自编码机的多风格字体生成方法，其特征在于，所述步骤1和步骤2的具体过程为：

步骤1、首先在Word文档中输入m页固定字体风格的汉字，每个汉字之间插入空格；然后将该Word文档转成pdf格式；最后将pdf格式转成jpg格式图片，最终将得到m张图片，即为取样样本；

步骤2、对步骤1取样样本中的m张图片，通过调试过的固定尺寸的框和步长依次对每张图片的字符随机切割出i张、大小为c×r的图片，即得到m×i张、大小为c×r的图片，得到最终训练数据。