[发明专利]一种基于场景识别的草图图像翻译方法

权利要求书

1.一种基于场景识别的草图图像翻译方法，其特征在于，所述方法包括：

构建对象数据集与场景数据集并进行语义匹配，对对象数据集的原始图像进行边缘检测与简化从而得到完整对象边缘图像，之后进行随机遮挡掩模处理以模拟用户的部分草图输入从而得到不完整对象边缘图像，对场景数据集进行场景识别预训练产生OPlace365-Resnet50网络；

用户从所述场景数据集中选取场景背景图，然后利用所述OPlace365-Resnet50网络对所选取的场景背景图进行分类识别，得到场景类别；

利用所述完整对象边缘图像和所述不完整对象边缘图像作为数据集训练部分草图形状完成网络，利用所述对象数据集的原始图像和所述完整对象边缘图像作为数据集训练完整图像外观生成网络；

所述场景类别通过所述语义匹配得到对应的对象类别，之后所述部分草图形状完成网络根据对象类别和用户描绘的部分草图生成完整的草图轮廓，然后所述完整图像外观生成网络再根据对象类别和所生成的完整草图轮廓生成带有颜色和纹理的前景图像；

用户根据所述带有颜色和纹理的前景图像交互式的进行下一笔草图描绘，直到生成在所述用户选取的场景背景图上满足用户需求的前景对象图像，即为最终生成图像；

其中，所述部分草图形状完成网络，具体为：

部分草图形状完成网络采用Pix2Pix结构，包含一个生成器G_s和一个判别器D_s；

生成器G_s采用加入跳跃连接skip connection的U-Net网络结构，包括：将所述对象类别连同所述用户描绘的部分草图作为网络输入，每个网络层都加入批标准化层BatchNormalization与线性整流函数ReLU，网络最后一层的输出采用双曲正切函数tanh作为激活函数；

判别器D_s由PatchGAN组成，包括：每个网络层都加入批标准化层Batch Normalization与带泄露线性整流函数Leaky ReLU，判别器将输入图片分为多块，对每一块都给出一个分数，最后对所有块的分数求平均；

其中，所述完整图像外观生成网络，具体为：

完整图像外观生成网络包含一个生成器G_t和一个判别器D_t；

生成器G_t采用改进的U-Net网络结构GU-Net，包括：GU-Net的前五个卷积层得到的特征图分别与类条件向量级联，得到级联特征图，再利用GRU循环神经网络将卷积层的第五层级联特征图和与之相应成镜像关系的反卷积层特征图进行跳跃连接，每个网络层都加入标准化层Instance Normalization与带泄露线性整流函数Leaky ReLU，上采样Upsample和下采样Downsample均采用最近邻插值采样；

判别器D_t包括：前三个卷积层得到的特征图分别与类条件向量级联，得到级联特征图，最后一个卷积层输出的特征图采用Sigmoid激活函数。

2.如权利要求1所述的一种基于场景识别的草图图像翻译方法，其特征在于，所述构建对象数据集与场景数据集并进行语义匹配，具体为：

从Place365数据集中提取其中的二十个类别构建成场景数据集；

对象数据集与场景数据集各包括二十个类别的图像；

对对象数据集中二十个类别的图像与场景数据集中二十个类别的图像进行一对一的语义匹配。