[发明专利]一种基于显著度匹配的画风迁移方法

说明书

本发明涉及一种基于显著性匹配的画风迁移方法，核心为一个基于显著度匹配的画风迁移深度神经网络模型。该模型由特征抽取、子画风迁移、基于显著度的区域分解和画风图像合成，四个模块组成。在训练时，对所构建的画风迁移网络模型进行分支训练，使每个分支向目标作用优化。与现有技术相比，本发明具有以下优点：1)依据内容图中对象显著度和画风图中子画风显著度的一致性进行画风迁移，能够将显著的画风迁移到内容图的显著对象上，从而保证迁移风格后的内容图中的对象显著性顺序保持不变。同时，不同显著度的对象物继承单一子画风，不会因为同一对象继承不同子画风造成风格混乱；2)生成的带画风图像更加光滑、无噪声。

技术领域

本发明属于数字图像处理、计算机视觉、艺术等交叉领域，涉及一种基于显著性匹配的画风迁移方法。

背景技术

近年来，数字图像处理和计算机视觉领域内技术的快速发展带动了这些技术在其他领域的应用，这些应用又反向促使技术不断革新。画风迁移就是在这样的环境下产生的课题。画风迁移即给定一张艺术画的数字图像(称为画风图)，将用户拍摄的照片或其他方式制作的数字图像(统称为内容图)转换成该艺术画的风格。画风迁移能够大大降低艺术创作的门槛，让普通大众能够便捷制作带艺术风格的图像。

近年来，深度学习因其强大的特征学习能力、图像分析和理解能力受到广泛关注。众多研究者尝试将其引入画风迁移任务中，提出了一系列基于深度学习的画风迁移方法。例如，Johnson等人于2016年在European Conference on Computer Vision国际会议上提出了Perceptual Losses for Real-Time Style Transfer and Super-Resolution，采用感知损失函数训练一个带特定画风的图像变换网络。训练后的网络可接收照片并生成具有已训练风格的内容图。Li等人于2016年在Computer Vision and Pattern Recognition国际会议上发表的Combining Markov Random Fields and Convolutional NeuralNetworks for Image Synthesis，将卷积神经网络输出的特征图进行分块处理，计算每一特征块的Gram矩阵，寻找与画风图中最相近的特征块进行风格迁移，通过MRF约束迁移效果的平滑度。现有方法在实施画风迁移时，并没有考虑风格图和内容图之间的内部语义关联，仅仅参考了两图中底层纹理特征的匹配度，容易造成迁移风格后的内容图的子风格出现视觉混乱。例如，对于中国古画而言，画家倾向于使用墨色来突出画面中重要部分而对其他部分进行留白。现有画风迁移方法容易将留白部分迁移到内容图中的纯色区域，而不考虑该纯色区域是否位于重要的物体上。

发明内容

鉴于目前画风迁移方法存在局限性，本发明提出一种基于显著性匹配的画风迁移方法，能够将显著的子画风迁移到照片中的视觉重要部分，即达到显著度匹配的画风迁移，避免迁移风格后的照片子风格发生混乱。

为了实现上述目标，本发明的技术方案为：构造了一种基于显著度匹配的画风迁移深度神经网络模型。该模型将内容图按照显著度划分成不同区域，分别对应画风图中的显著度不同的子风格，以此为基础将子画风迁移到对应显著度的内容区域中。内容图和风格图中显著度的量化层级数目可自由指定。本发明实例中以两层级显著度为例，即内容图和风格图均划分为两类，分别为前景(强显著)和背景(弱显著)内容，以及前景子画风(强显著)和背景子画风(弱显著)。

一种基于显著度匹配的画风迁移方法包括以下模块和步骤：

模块一、特征抽取。给定一幅输入图像，通过特征抽取模块得到特征矩阵。

模块二、子画风迁移。该模块对特征矩阵表达的内容图进行处理使其具备不同的子画风，并解码生成带有不同子画风的多幅内容图。其中，子画风总数量M和子画风的显著度排序事先由用户自由指定。