[发明专利]基于GAN网络结构的三阶段瓷砖图像生成方法

说明书

本发明提出了一种基于GAN网络结构三阶段瓷砖图像生成方法。首先输入特征向量，并通过多尺度梯度风格生成对抗网络，转化为灰度图像块输出；其次根据输入的样图生成特征向量，并基于KNN最近邻算法在风格池中寻找最具符合条件的纹理合成生成对抗网络模型，将灰度图像块输入到该对抗网络模型中，生成瓷砖风格图像；最后基于双三次插值算法对瓷砖风格图像进行图像放大和裁剪，实现对最终瓷砖图像的生成。本发明相较于基于GAN网络模型一步生成瓷砖图像，瓷砖图片训练和生成过程中，计算资源的开销得以降低。另外，本发明能够增强对瓷砖风格图片输出的可控性，能够生成多样化、个性化的瓷砖图片，其输出结果符合人们对特定风格类别瓷砖的预期。

技术领域

本发明涉及图像生成领域，提出了一种基于GAN网络结构的三阶段瓷砖图像生成方法，该方法能够快速地生成多样化瓷砖图像，生成图像符合人的直观感受，对工业瓷砖图像设计具有很好的参考意义。

背景技术

随着人工智能的快速发展，越来越多相关的技术相继被提出。作为实现人工智能的主要方法，机器学习需要基于已有数据集的特性，对未知的数据进行预测。根据数据集是否含有标签属性，可将机器学习分为监督学习、无监督学习和半监督学习三大类。

目前在机器学习中，已有很多关于图像生成的方法。在无监督学习领域，Kingma和Welling提出变分自编码器模型，模型包含AutoEncoder和AutoDecoder模块，用于训练图像与编码后的向量之间的双向关系，并对编码后的向量基于高斯分布进行随机扰动，在已有图片的基础上生成更多相似的图片，以增加图像的多样性。他们的模型在手写数字图片的生成中得到了很好的应用。Oord等人提出了Pixel CNN，一种基于门控结构的网络结构，通过在门控单元中，构建垂直和水平之间的卷积神经网络，根据图片先前出现的像素点预测出未知像素点的像素值，他们曾成功地运用此网络将一张缺失图像信息地图片进行复原。随着Goodfellow等人创造地应用博弈论思想，提出生成式对抗网络(GAN网络)，越来越多地学者深入其中，将GAN网络结构快速渗透到图像生成领域。Karras等人提出ProGAN网络结构，他们在原有的GAN网络结构的基础上进行改进：他们基于循序渐进的思想，在生成器和判别器结构中，设计出循序渐进的卷积网络模块，在图像生成的过程中从低分辨率到高分辨率逐渐被放大，在图像判别的过程中从高分别率到低分辨率逐渐缩小，最终得到判别结果。实验证明，他们的网络结构能够基于已有数据集生成花卉、名人等具有特定分布的图片。在之后的研究中，他对ProGAN网络结构进一步改进，提出了StyleGAN网络结构。通过引入Ada-in模块，将输入的向量转换成样式控制向量，控制特定卷积层特征图的输出，从而参与影响生成器的生成过程。他们通过实验结果证明，该网络结构能够有效地减轻特征纠缠现象。Zhou等人设计了一种纹理合成的对抗网络结构，对于原始纹理图像，输入到由特定的卷积和残差模块所构成的生成器，生成出长宽放大两倍后的图像，图像放大的同时，纹理信息更为丰富。作为在网络训练过程中还训练了一种损失函数，包含风格损失、内容损失和判别损失，使得生成图像和真实图像更加纹理、风格上更加接近。他们在各种类型的纹理图片上进行实验，并取得良好效果。

然而，工业瓷砖图像具有文件容量大、纹理多样且丰富的特点，通过机器学习、深度学习模型直接对瓷砖图像进行生成，需要消耗大量的时间和计算资源，并且缺乏可控性，很难对输出瓷砖图片颜色以及花纹样式直接进行外部控制，因此目前很少有方法很难直接应用到工业瓷砖纹理图像生成这一具体应用领域当中。

发明内容

本发明的目的在于解决现有技术中针对工业瓷砖纹理图像生成技术中存在的问题，通过比较上述现有技术中方法的特点，提出了一种基于GAN网络结构三阶段瓷砖图像生成方法，该方法结合了两类图像生成GAN网络的优势。首先，通过多尺度梯度风格生成对抗网络，将输入的特征向量转化为灰度图像块输出；其次，根据输入的样图生成特征向量，并基于KNN最近邻算法在风格池中寻找最具符合条件的纹理合成生成对抗网络模型，将灰度图像块输入到该对抗网络模型中，生成瓷砖风格图像；最后，基于双三次插值算法对瓷砖风格图像进行图像放大和裁剪，实现对最终瓷砖图像的生成。

本发明的技术方案步骤如下：