[发明专利]基于GAN网络结构的两阶段瓷砖图像风格化方法

说明书

本发明提出了一种基于GAN网络结构的两阶段瓷砖图像风格化方法，可快速实现对大尺寸瓷砖纹理图像的风格化。首先实现对纹理图像块与风格图像的生成。输入大尺寸瓷砖纹理图像和一系列风格样图，并将大尺寸瓷砖纹理图像进行全局分块，得到众多纹理图像块。同时将风格样图对应的特征向量进行加权融合，通过CAN网络生成风格图像。其次进行图像风格化操作。将前一阶段得到的纹理图像块和风格图像，依次通过AdaIN‑自编码GAN网络生成风格化图像块。对生成的图像块进行全局拼接，并进行水平、垂直、中心方向的接缝填补，形成最终的瓷砖风格化图像。该发明生成的瓷砖图像，风格效果较为突出，并且图像整体看上去较为自然，不存在明显的接缝，具有较好的视觉感受。

技术领域

本发明涉及图像生成领域，提出了一种基于GAN网络结构的两阶段瓷砖图像风格化方法，该方法能够快速地对大尺寸瓷砖图像进行风格化，生成图像符合人的直观感受，对工业瓷砖图像设计具有很好的参考意义。

背景技术

现阶段用户对瓷砖图像提出了更多的个性化需求，瓷砖图像个性化设计工作越来越受到设计师们的关注。在传统设计方法中，设计师往往通过色调变换技术实现个性化瓷砖图像设计：即对已采集的瓷砖图像，通过色调变换算法或者传统的图像处理算法，改变瓷砖图像的整体色调以满足相关要求。

在深度学习领域，随着风格迁移技术被提出，解决了传统方法中图像整体色调单一的问题，并且生成图像能够融入一定的风格特征。随后，Johnson等人提出了快速风格迁移网络结构，通过对风格样图进行训练，将样图中的风格信息存入网络结构参数中，从而在图像生成阶段，能够将输入纹理图像快速转化为风格化图像输出。Zhou等人在此基础上进行改进，提出了纹理合成GAN网络结构，实现了对风格化超分图像的快速生成。Zheng等人提出了AdaIN-自编码GAN网络结构，将输入风格图像与内容图像经过编码器压缩成特征矩阵，并通过AdaIN与Mask将图像内容与风格信息进行融合，并融合后的特征图输送到解码器进行输出。实验证明，训练后的网络可以实现对任意风格图像的快速迁移，输出的风格化图像能够很好地与输入样图的风格特征相吻合。

然而这些网络结构在很大程度上依赖于GPU计算资源：随着输入瓷砖图像尺寸不断增大，网络中间层大量特征图被保存，当前GPU很可能无法支持对这些特征图的容纳与计算。由于实际工业瓷砖图像具有庞大的图像尺寸，现有的风格迁移相关网络结构难以直接得以运用。

发明内容

本发明的目的在于解决现有技术中存在的问题，并提供一种基于GAN网络结构的两阶段瓷砖图像风格化方法。

本发明的发明构思是:首先实现对纹理图像块与风格图像的生成。输入大尺寸瓷砖纹理图像和一系列风格样图，并将大尺寸瓷砖纹理图像进行全局分块，得到众多纹理图像块。同时将风格样图对应的特征向量进行加权融合，通过CAN网络生成风格图像。其次进行图像风格化操作。将前一阶段得到的纹理图像块和风格图像，依次通过AdaIN-自编码GAN网络生成风格化图像块。对生成的图像块进行全局拼接，并进行水平、垂直、中心方向的接缝填补，形成最终的瓷砖风格化图像。

本发明具体采用的技术方案如下：

一种基于GAN网络结构的两阶段瓷砖图像风格化方法，所述方法包含如下步骤：

S1：在风格池中选定k张风格样图以及对应的k个特征向量v₁～v_k，对v₁～v_k进行加权融合得到特征向量v，并将特征向量v输入到CAN网络结构中，生成风格图像S^raw；

S2：定义风格特征尺度fscale，并基于风格特征尺度fscale对S^raw进行双三次线性插值图像缩放，得到风格图像S；