[发明专利]局部和全局并行学习的高分辨率图像风格变换方法及系统

说明书

本发明公开了一种针对千万级像素数字图像的基于局部和全局并行学习的风格变换方法，包括以下步骤：S1、构造风格化模型训练样本集，包括原图样本集合、专业的修图师人工处理得到的对应修图样本集合、原图样本集合对应的语义分割图样本集合；S2、将原图样本集合和对应修图样本集合压缩，得到小尺寸下的小图训练样本集合；S3、训练得到小图风格化模型；S4、基于训练样本集，对原图样本集合裁剪得到对应的切片对，训练并记录坐标信息，获得切片风格化模型；S5、获得融合模型；S6、联合训练步骤S3‑S5中的三个网络。本发明还公开了一种针对千万级像素数字图像的基于局部和全局并行学习的风格变换系统。本发明局部和全局并行学习，处理速度更快、效果更佳。

技术领域

本发明属于图像处理领域，尤其是涉及一种对数码单反相机成像的风格迁移技术，将通过数码单反相机获得的千万级像素图像，通过经由特定样本对(单反相机得到的原始图像和对应经修图师人工处理后的风格化图像)组成的风格化图像数据集训练得到的深度卷积神经网络，获得风格化图像，具体是涉及一种针对千万级像素数字图像的基于局部和全局并行学习的风格变换方法及系统。

背景技术

目前要解决的问题是需要将一些特定布局或场景下摄影师拍摄的照片进行风格化，得到相比原图而言在视觉上更具美感和风格感的照片，如图1所示展示了西湖景区下拍摄照片的一种常见的照片风格化处理，其中上图为原始照片，下图为风格化处理后的照片，目前通常还是需要通过专业的修图师操作 Photoshop等图像处理软件进行一系列繁琐的操作实现诸如此类的照片风格化。

本发明的方法要从计算机视觉的角度，通过深度学习技术，以期替代人工修图的方式，实现智能修图。因此，本发明的方法要解决的问题即是计算机视觉中典型的图像到图像的端对端问题(Image-to-Image)，在计算机视觉的诸多领域中，图像修复、超分辨率和神经风格迁移都是典型的图像到图像问题，图像修复要解决的问题是自然地填补图像中被污染或者被遮挡的区域，超分辨任务则是将低像素的图像放大到更大像素，使得仍能保持较高的图像清晰度，而神经风格迁移则是与该应用场景更为相关的技术领域，其要实现的目的是通过一张指定的风格图(style image)作为引导，将其风格迁移至另一张图像(content image)，使得这张图像同时能具有它本身的内容和风格图的风格。虽然这些领域要解决的问题各不相同，但其使用的深度学习模型和损失计算方式通常存在一些共性，如模型上都有基于Unet、Vgg等经典结构的变式，损失上也通常基于Vgg的感知损失进行计算。考虑到诸如风格迁移技术这种非对称学习的设定就决定了其只能保证图像整体的风格感，而无法对图像细节进行更具体的调整。

尽管，通过借鉴和综合以上所述技术领域的方法，本发明可以轻松地达到目的，但是，在我们这一场景中，一个非常重要的问题此前并没有获得很多的关注，即进行变化的图像尺寸问题。现代常见的数码成像设备，如手机、数码相机等产生的图片像素往往达到了千万级，甚至某些专业的单反相机可以生成上亿级别像素的照片，而现有的图像到图像的计算机视觉技术往往针对的图像对象的像素往往没有超过百万级。Xide Xia(JointBilateral Learning for Real-time Universal Photorealistic Style Transfer)等人在2020年提出的联合双边学习技术，首次成功实现了在4K的百万级像素照片上进行将风格迁移，其提出了构造一个空间域和亮度域上的仿射双边网格，通过将原始图像的像素在这个仿射双边网格中通过插值获得自己的风格化仿射系数，再基于此风格化系数进行对图像进行线性变化，得到最终的风格化图像。该方法的问题在于其仿射双边网格的估计仍是一个近似估计，作者基于512的训练图片尺寸获得的16*16*8的仿射双边网格，推理百万级像素的图片时确实仍可以获得较好的效果，但是当待推理图片的尺寸达到更高的千万级像素时，训练图片的尺寸和仿射双边网格的大小则需要相应增大，那么带来的训练成本也随之提高，此外，该方法所设计的模型结构固定，该方法的设定迫使模型把大部分的参数拟合压力集中在仿射双边网格的生成部分，当模型效果不佳时，难以进行二次优化。

发明内容