[发明专利]基于少量样本生成的任意风格和内容的迁移方法和系统

说明书

本发明提供一种基于少量样本生成的任意风格和内容的迁移方法和系统，包括：风格特征提取步骤：对风格参考图像，使用深度卷积神经网络提取图像的风格特征；内容特征提取步骤：对内容参考图像，使用深度卷积神经网络提取图像的内容特征；风格和内容特征结合步骤：将提取的风格特征和内容特征通过双线性模型相结合，得到目标图像的特征；目标图像生成步骤：对目标图像的特征经过反卷积神经网络生成目标图像。本发明将风格和内容分离开，实现任意目标风格任意目标内容的图像生成，能够迁移到没见过的风格和没见过的内容上，提取没见过的风格和内容的特征。本发明只需少量的参考图像，风格特征和内容特征可从少量数据中学得。

技术领域

本发明涉及一种计算机视觉和图像处理领域的方法，具体地，涉及一种基于少量样本生成的任意风格和内容的迁移方法和系统。

背景技术

在风格迁移领域，最初的研究工作是基于训练好的现有网络，例如VGG网络，通过不断迭代的方式，将一个噪声图像逐步转换为一个具有目标风格目标内容的图像。但是这种方法需要迭代多次，效率不高。之后的大部分研究工作致力于学习一个模型能够直接由一幅内容图像生成具有某种风格的图像。使用的损失函数大多是感知损失函数，从而使得生成的图像是目标风格和目标内容的图像。然而这些工作中使用的深度神经网络模型并没有将风格和内容分离开，风格和内容这两个因素仍然融合在一起，因此这些网络都只能对训练集里出现过的风格进行迁移，如果要对其他未见过的风格进行迁移，需要重新训练模型，而且重新训练模型的过程中会用到大量的训练图像。

目前的深度神经网络模型普遍需要大量的训练数据进行学习，而人类具有从少量样本甚至单一样本学习某个概念的能力，例如，教小孩识别某个动物的时候，他能够根据这个动物的一张或几张图像对其进行识别和学习，再次见到这个动物的新的图像时能够对其进行识别和判断。特别地，人类还具有依据少量样本生成的能力，遇到一个新的图像和概念，能够理解它的结构和表达的信息，并在脑海中想象其变形。此外人类还能够根据某个风格的图像和某个内容的图像自动将其融合，想象出二者结合的风格迁移后的图像。

随着深度神经网络在图像处理领域逐渐发展，目前有一些基于少量样本进行目标识别的算法出现，并取得了不错的效果。与图像的生成不同，基于少量样本的目标识别更多地关注于对目标的特征进行提取，因为样本量少，所以需要提取到更具代表性和独特性的特征。而以目前的研究来看，还没有出现利用少量样本进行风格迁移的方法。

经检索，中国发明专利公开号为CN106651766A，公开了一种基于深度卷积神经网络的图像风格迁移方法，其通过图像输入、损失函数训练、风格化、图像增强、图像细化实现风格迁移，但是其不足在于，上述专利只能实现训练集中出现的风格的迁移，而对于训练集中没有出现过的风格，需要重新训练，一是比较耗时，二是训练时需要大量的训练样本。

发明内容

针对现有技术中的缺陷，本发明的目的是提供基于少量样本生成的任意风格和内容的迁移方法和系统，训练好的各个模块能够迁移到没有见过的风格和内容上，对于没见过的风格和内容，能够利用少量的风格参考图像和内容参考图像进行生成。

根据本发明的第一方面，提供基于少量样本生成的任意风格和内容的迁移方法，包括：

风格特征提取步骤：对风格参考图像，使用深度卷积神经网络提取图像的风格特征；

内容特征提取步骤：对内容参考图像，使用深度卷积神经网络提取图像的内容特征；

风格和内容特征结合步骤：对所述风格特征提取步骤得到的风格特征和所述内容特征提取步骤得到的内容特征通过双线性模型相结合，得到目标图像的特征；

目标图像生成步骤：对所述风格和内容特征结合步骤得到的目标图像的特征进行反卷积生成目标图像。

本发明所述的基于少量样本生成的任意风格和内容的迁移方法，是能够进行端到端训练的。