[发明专利]一种基于风格小图高清化的两阶段数字图像风格变换方法及系统

说明书

本发明公开了一种基于风格小图高清化的两阶段数字图像风格变换方法，包括以下步骤：S1、构造原图样本集合，修图样本集合，及分割图样本集合；S2、构造小图风格化模型；S3、构造高清化网络模型的训练样本集；S4、构造高清化模型；S5、得到风格化小图；S6、得到最终的高清化风格大图。本发明还公开了一种基于风格小图高清化的两阶段数字图像风格变换系统。本发明在同样的模型迭代次数下，模型可以获得更精确的拟合效果，图片处理时长缩短。

技术领域

本发明属于图像处理领域，尤其是涉及一种对数码单反相机成像的风格迁移技术，将通过数码单反相机获得的千万级像素图像，通过经由特定样本对(单反相机得到的原始图像和对应经修图师人工处理后的风格化图像)组成的风格化图像数据集训练得到的深度卷积神经网络，获得风格化图像，具体是涉及一种基于风格小图高清化的两阶段数字图像风格变换方法及系统。

背景技术

目前要解决的问题是需要将一些特定布局或场景的照片对应地变换到一个特定的风格，如森系、ins风、工笔画等，以满足数码修图的要求。在目前计算机视觉的诸多领域中，超分辨率和神经风格迁移是较为相关的领域，超分辨任务是将低像素的图像放大到更大像素，使得仍能保持较高的图像清晰度，而神经风格迁移则是与该应用场景更为相关的技术领域，Gatys(A neural algorithm of artistic style，2015)等人最早提出了利用卷积神经网络将自然照片转换为著名艺术家们的风格化图像，由此开启了基于深度学习进行风格迁移的新篇章。随后，Li(Universal Style Transfer via Feature Transforms，2017)和Artsiom(A Style-Aware Content Loss for Real-time HD Style Transfer，2018)等人陆续提出了新的方法来解决神经风格迁移问题，但是这些工作仍停留在产生更艺术化的图像，并不适用于解决现在所面临的问题。Li等人(A Closed-form Solution toPhotorealistic Image Stylization)于首次将神经风格迁移的思想引入解决相片级风格转换(Photorealistic image stylization)，他们在Li(Universal Style Transfer viaFeature Transforms，2017)中提出的whitening and coloring transform(WCT)技术的基础上，进一步提出了PhotoWCT方法，在网络的特征解码过程中帮助重构丢失的细节信息。Yoo等人(Photorealistic Style Transfer via Wavelet Transforms，2019)进一步优化了Li的工作，在WCT中引入了小波变换，并且剔除了Li工作中的Smoothing环节，但使得风格迁移的结果真实度更高。这些工作全都基于WCT这一技术来实现从内容图和风格图中提取风格化特征。

目前，神经风格迁移仍客观存在一些难以解决的问题，其中包括：

1)以单张风格图指导内容图进行风格变化的形式，始终存在相同语义区域对应风格变化的问题，因此大多数的方法通常要求内容图和风格图需要保持空间上相似的语义布局。因此，目前改思路能够达到的风格变化效果更多的还是全局的、粗粒度的，而在商业数码修图场景中，往往需要对图片的细节进行处理，如图像中的人像和背景可能存在相反的变化，如人像提亮美白，但是背景却需要压暗。目前照片级风格迁移中则需要依赖语义分割来实现这样的目的，但是语义分割作为一个硬性的信息引入，当不同语义对象的边界不准确时，则容易使风格化后的图像出现非常不自然的边界过度。

2)目前神经风格迁移训练模型时所使用的训练集尺寸往往非常小，甚至达不到百万级像素，因此一方面去预测尺寸更大的图像需要更高显存的GPU，硬件上的约束将给模型的使用和推广造成一定的困难，另一方面神经风格迁移基于小尺寸样本集训练好的模型去预测尺寸大得多的图像，由于模型感受野的问题，将得不到较好的效果。