[发明专利]一种基于生成式对抗网络的草图补全与识别方法和装置

权利要求书

1.一种基于生成式对抗网络的草图补全方法，其步骤包括：

1)建立级联生成式对抗神经网络模型，其包括生成器、判别器和分类器，所述生成器包括至少两个级联阶段，其中前面所有级联阶段的输出特征与原始输入的残缺草图融合，作为后一个级联阶段的输入；

2)对所述级联生成式对抗神经网络模型进行训练，训练过程中将所述分类器得到的草图识别结果作为草图类别的先验知识，辅助所述生成器和所述判别器进行草图补全；对所述级联生成式对抗神经网络模型进行训练的过程包括：

2.1)将生成器最后一个级联阶段的输出y₃输入分类器，对y₃进行类别识别，输出一个分类损失Loss_c；

2.2)将生成器最后一个级联阶段的输出y₃输入判别器，判别此图像是否是真实图像或者生成图像，输出一个判别损失Loss_D；

2.3)将分类损失Loss_c与判别损失Loss_D融合后对所述级联生成式对抗神经网络模型进行更新；

3)将残缺草图输入训练完成的所述级联生成式对抗神经网络模型，输出补全的草图。

2.如权利要求1所述的方法，其特征在于，所述生成器包含三个级联阶段，在提高模型草图补全效果的同时减少模型的时间开销；在生成器的第一个级联阶段，把原始输入的残缺草图x作为输入，输出中间补全结果y₁；在生成器的第二个级联阶段，把x和第一阶段的输出y₁进行特征融合后作为输入，输出中间补全结果y₂；在生成器的第三个级联阶段，把x、第一阶段的输出y₁、第二阶段的输出y₂进行特征融合后作为输入，输出最终补全结果y₃。

3.如权利要求1所述的方法，其特征在于，所述生成器采用U-Net网络结构，在编码器和解码器堆栈中的镜像层加入跳跃链接；所述判别器采用双判别器模型，由一个局部判别器和一个全局判别器组成；所述分类器采用Sketch-a-Net中提出的草图识别模型，采用的损失函数为交叉熵损失。

4.如权利要求1所述的方法，其特征在于，对所述级联生成式对抗神经网络模型进行训练时，采用数据增强方法对草图数据集进行数据扩充，包括以下步骤：

①将草图数据集分为训练集和测试集；

②对于每一张原始草图，生成一个随机大小、随机位置的矩形块对其进行擦除，矩形框内部的像素全部置为白色；

③检验此残缺草图与原始草图黑色像素的比率，即残缺率，若残缺率在10％～40％之间，则保持此残缺草图；反之重复步骤②，最终为每张原始草图制作一个对应的残缺草图。

5.一种残缺草图识别方法，其特征在于，包括以下步骤：

a)采用权利要求1～4中任一权利要求所述方法对残缺草图进行补全，得到补全的草图；

b)采用草图识别算法对所述补全的草图进行识别。

6.一种基于草图的图像检索方法，其特征在于，包括以下步骤：

a)采用权利要求1～4中任一权利要求所述方法对残缺草图进行补全，得到补全的草图；

b)将所述补全的草图输入基于草图的图像检索算法，获得图像检索结果。

7.一种草图场景编辑方法，其特征在于，包括以下步骤：

a)采用权利要求1～4中任一权利要求所述方法，对草图场景编辑过程中产生的各类残缺草图进行补全，得到补全的草图；

b)对所述补全的草图进行存储、组织、再编辑。