[发明专利]一种基于语义分割网络技术对数字图像进行风格变化的方法及系统

说明书

本发明公开了一种基于语义分割网络技术对数字图像进行风格变化的方法，包括步骤：A定义婚纱摄影场景下风格变换所需分割的语义类型，制作婚纱摄影场景下的语义分割样本集；B分割样本集训练语义分割模型；C获得应的语义分割图；D将图像合并得到一个带有语义信息的6维联合输入图像；E将带有语义信息的六通道联合图像输入到多分支高分辨率网络中，对图像进行语义先验信息约束下的风格变化特征提取，输出保持原始分辨率的64维特征图。本发明还公开了一种基于语义分割网络技术对数字图像进行风格变化的系统。本发明实现了将特定布局或场景的照片对应地变换到一个特定风格的功能，处理速度快，处理输出效果稳定，各语义区域的交界处过渡自然。

技术领域

本发明属于对数码单反相机成像的风格迁移技术领域，特别是将通过数码单反相机获得的千万级像素图像，通过经由特定样本对(单反相机得到的原始图像和对应经修图师人工处理后的风格化图像)组成的风格化图像数据集训练得到的深度卷积神经网络，获得风格化图像，尤其是涉及一种基于语义分割网络技术对数字图像进行风格变化的方法及系统。

背景技术

本发明要解决的问题是需要将一些特定布局或场景的照片对应地变换到一个特定的风格，如森系风格/ins风格等。在目前计算机视觉的诸多领域中，超分辨率和神经风格迁移是较为相关的领域，超分辨任务是将低像素的图像放大到更大像素，使得仍能保持较高的图像清晰度，其要解决的问题和目的与本发明有本质上的区别，而神经风格迁移则是与该应用场景更为相关的技术领域，Gatys(Aneural algorithm of artistic style，2015)等人最早提出了利用卷积神经网络将自然照片转换为著名艺术家们的风格化图像，由此开启了基于深度学习进行风格迁移的新篇章。随后，Li(Universal Style Transfervia Feature Transforms，2017)和Artsiom(A Style-Aware Content Loss for Real-time HD Style Transfer，2018)等人陆续提出了新的方法来解决神经风格迁移问题，但是这些工作仍停留在产生更艺术化的图像，并不适用于解决现在所面临的问题。

Li等人(A Closed-form Solution to Photorealistic Image Stylization)于首次将神经风格迁移的思想引入解决相片级风格转换(Photorealistic imagestylization)，他们在Li(Universal Style Transfer via Feature Transforms，2017)中提出的whitening and coloring transform(WCT)技术的基础上，进一步提出了PhotoWCT方法，在网络的特征解码过程中帮助重构丢失的细节信息。Yoo等人(PhotorealisticStyle Transfer via Wavelet Transforms，2019)进一步优化了Li的工作，在WCT中引入了小波变换，并且剔除了Li工作中的Smoothing环节，但使得风格迁移的结果真实度更高。这些工作全都基于WCT这一技术来实现从内容图和风格图中提取风格化特征，其存在的问题如下：

1)WCT中需要使用矩阵奇异值分解(SVD分解)，这并不是一个高效的操作，而我们所要处理的照片通常都来自数码单反相机(DSLR设备)的千万级，甚至过亿级别的像素图像，SVD分解的存在使得构建好的网络对单张图片的推理时间难以在秒级内完成，这严重影响了客户的使用体验。

2)目前的相片级风格迁移同样需要语义分割来支持，自Li提出相片级风格转换以来，语义分割一直是一个并不必要的元素，其作用是独立于深度网络推理之外的，仅作为一个掩码，将不同语义区域的风格特征映射独立开来，使得WCT能在不同语义区域能够完成各自独立的风格特征提取。这样的方式使得内容图的不同语义区域经过各自的风格变换后再融合到一张图像上时，不可避免地会在各语义区域的交界处有明显的拼接痕迹，严重影响图像的整体质量。从另一方面来说，风格迁移所建立的数据基础仍是具有类似结构布局的内容图和风格图(即如下图所示，如图1-1内容图和图1-2风格图均是上方为天花板，中间为墙壁，下方为地面)，