[发明专利]一种基于变分自编码和生成对抗网络的手绘草图生成方法

权利要求书

1.一种基于变分自编码和生成对抗网络的手绘草图生成方法，其特征在于，所述基于变分自编码和生成对抗网络的手绘草图生成方法包括：

步骤一，获取某一类或某几类别的矢量格式草图，利用cairoSVG图形库进行格式转换，得到对应的光栅格式草图，利用矢量格式草图和光栅格式草图构建新数据集；

步骤二，利用卷积神经网络和注意力模块获取得到的新数据集中笔画向量的全局和局部特征结构；

步骤三，将获取笔画向量的全局和局部特征结构以及矢量格式草图输入到由长短期记忆网络组成的解码器中，得到新数据集的笔画正态分布参数数据和笔画状态分类分布概率数据；

步骤四，从正态分布中随机取样得到每个时间步的笔画位置数据，从笔画状态分类分步概率数据中计算每个时间步的笔画状态数据，将每个时间步的输出进行组合，获取组合后的预测生成的草图；

步骤五，将生成的草图和所述矢量格式草图输入到由长短期记忆网络组成的鉴别器中，获取鉴别器预测输入数据的真假信息，训练完成后得到融合VAE和GAN的草图生成模型；

步骤六，将待预测的矢量格式草图和对应的光栅格式草图输入到所述的融合VAE和GAN的草图生成模型中进预测，得到最终预测生成草图。

2.如权利要求1所述基于变分自编码和生成对抗网络的手绘草图生成方法，其特征在于，所述步骤一中，矢量格式草图由数据点偏移量、笔画状态信息组成的五元组组成。

3.如权利要求1所述基于变分自编码和生成对抗网络的手绘草图生成方法，其特征在于，所述步骤一中，利用矢量格式草图和光栅格式草图构建新数据集的方法包括：

(1)获取三元组表达形式的矢量格式草图，利用格式转换库将矢量格式草图转换为光栅格式草图。

(2)将三元组表达形式的矢量格式草图转换为五元组表达形式，并获取数据集中草图的最大组成长度。

4.如权利要求1所述基于变分自编码和生成对抗网络的手绘草图生成方法，其特征在于，所述步骤二中，利用卷积神经网络和注意力模块获取得到的新数据集中笔画向量的全局特征结构包括：

1)将得到的光栅格式草图输入到卷积神经网络中，进行训练，将卷积神经网络的输出做线性计算，得到组成笔画向量的全局和局部特征结构的参数，对参数进行线性计算并抽样，得到笔画向量局部位置特征数据；

2)在卷积神经网络的1层后加入注意力模块，得到笔画向量全局和局部特征结构数据。

5.如权利要求4所述基于变分自编码和生成对抗网络的手绘草图生成方法，其特征在于，步骤2)中，所述卷积神经网络包含获取全局特征结构的神经网络层，所述卷积神经网络共计7层。

6.如权利要求4所述基于变分自编码和生成对抗网络的手绘草图生成方法，其特征在于，步骤2)中，所述训练采用dropout进行训练，dropout比率为0.9。

7.如权利要求1所述基于变分自编码和生成对抗网络的手绘草图生成方法，其特征在于，所述步骤三中，笔画正态分布参数数据获取方法包括：

第一步，将得到的全局和局部特征结构数据作为噪声同矢量草图一同输入由LSTM搭建的解码器中，得到每个时间步的输出；

第二步，将得到的每个时间步的输出输入高斯混合模型中，得到组成二元正态分布的参数，并对笔画状态数据进行建模；

第三步，将得到的组成二元正态分布的参数得到二元正态分布函数，进行抽样得到笔画位置数据，并从笔画状态分类分布概率模型中计算当前时间步的笔画状态数据；

第四步，将得到的笔画位置数据和状态数据组成五元组表达形式的预测输出笔画；将所有时间步的预测输出笔画组合，即得预测输出草图。

8.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1～7任意一项所述基于变分自编码和生成对抗网络的手绘草图生成方法。