[发明专利]一种基于多尺度语义匹配的图像风格迁移方法

说明书

本发明公开了一种基于多尺度语义匹配的图像风格迁移方法，包括：获取内容图像训练集和风格图像训练集，形成多组内容‑风格图像对；通过深度卷积网络分别对内容‑风格图像对中的内容图像和风格图像提取多尺度深度特征；对内容图像和风格图像的多尺度深度特征进行多尺度语义匹配，获得重建后的深度特征；将重建后的深度特征通过解码器合成风格迁移后的重建图像；迭代更新解码器的参数直至解码器收敛；将待处理的内容图像和风格图像依次经过多尺度深度特征提取、多尺度语义匹配及收敛更新后的解码器合成，获得风格迁移后的图像。该方法能够显著地保持输入内容图像的结构完整性与连贯性，同时准确迁移输入风格图像对应语义部位的风格。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于多尺度语义匹配的图像风格迁移方法，主要完成从照片到特定艺术风格图像的生成，可用于数字娱乐等领域。

背景技术

绘画是视觉艺术中的一种重要形式，数千年来吸引了许多人并产生了大量杰出作品。图像风格迁移是指将风格图像(例如艺术家的艺术绘画)的风格迁移至内容图像(例如相机拍摄的照片)。但让艺术家以特定的风格手动绘制图像会花费大量的时间，实现该过程的自动化在数字娱乐等方面具有广泛的应用价值。因此，图像风格迁移算法的研究具有重要的意义。

早期研究，例如NPR(Non-Photorealistic Rendering，非真实感渲染)，纹理合成和图像类比受低级统计的限制并且常常无法捕获语义结构。Gatys等人在文献“Gatys,LeonA.,Alexander S.Ecker,and Matthias Bethge,“Image style transfer usingconvolutional neural networks,”in Computer Vision and Pattern Recognition，2016，pp.2414-2423”中提出的开创性工作神经风格迁移成为热门领域，开辟了使用卷积神经网络进行风格迁移的新路线。Li等人在文献“Li,Chuan,and Michael Wand,“Combiningmarkov random fields and convolutional neural networks for image synthesis,”in Computer Vision and Pattern Recognition，2016，pp.2479-2486”中提出使用风格图像相较于内容图像的最近邻块匹配来合成结果。

然而，大多数方法面临一个共同问题：是否使用参数方式来衡量深度表征之间的对应关系。使用参数化方式会使其专注于匹配风格图像的整体风格，非参数方式则致力于保留局部结构一致性。近来的方法通过结合两种方式来解决其各自的局限性，如Zhang等人在文献“Zhang Y,Fang C,Wang Y,et al.,“Multimodal style transfer via graphcuts,”in IEEE International Conference on Computer Vision,2019,pp.5943-5951”中提出的基于图切割的多模式风格迁移方法。上述现有方法都更着重于风格的迁移，而忽略了在迁移过程中内容图像的结构保持，导致在部分种类的内容图像如肖像上产生明显的缺陷。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于多尺度语义匹配的图像风格迁移方法，以提高风格迁移效果的质量。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种基于多尺度语义匹配的图像风格迁移方法，包括：

S1：获取内容图像训练集和风格图像训练集，形成多组内容-风格图像对；

S2：通过深度卷积网络分别对所述内容-风格图像对中的内容图像和风格图像提取多尺度深度特征；

S3：对所述内容图像的多尺度深度特征和所述风格图像的多尺度深度特征进行多尺度语义匹配，获得重建后的深度特征；

S4：将所述重建后的深度特征通过解码器合成风格迁移后的重建图像；