[发明专利]基于均值标准差的图像迁移方法

说明书

本发明公开了一种基于均值标准差的图像迁移方法，该方法构造了特征空间来存储不同滤波器的特征信息，在不同网络层实现不同的归一化统计量，从而更好地获得多尺度和稳定的特征，不需要对真实数据进行训练，可灵活进行风格转移。根据CNN理论分析，在此基础对高层网络重构的特征信息进建提取，去除FC层和soft‑max层来提高运行效率。实验结果表明本文均值标准差算法在进行风格迁移过程中性能优于Gram算法，风格转移的扭曲效果小，时间运行效率提高了30倍左右。

技术领域

本发明属于数字图像处理、人工智能和神经网络交叉领域，主题内容是一种基于均值标准差算法的图像风格迁移方法，是风格转移的扭曲效果小，迁移运行效率高的方法。

背景技术

图像风格迁移是提取风格图像独有的风格特征，将此特征迁移到内容图像中，使得二者的特征图结合起来。在风格迁移的过程中，生成的特征图要忠实表现原风格图像的艺术特征，也要渲染出内容图像和风格图像的结合生成的纹理特征。风格迁移的目标是经过多次的参数调整，使得中间图像在内容上与内容图像一致，在风格上与风格图像一致。

图像风格迁移与图像的纹理特征联系紧密，两者相辅相成。在深度学习未兴起之前，图像的纹理特征都是通过分析某一风格的图像，用局部特征建立的统计模型，通过改变需要迁移图像使其更好地符合所建立的模型。Kolliopoulos运用局部的形态来描述笔画的所在位置，在图像不同语义的区域产生不同的特征。基于局部特征建立的模型提取艺术的特征的可适用性差，具有一定的局限性，整体的特征捕获能力差。在深度学习成为研究热点时，GatysLA等人提取出基于卷积神经网络的特征空间，引出了新的自然纹理生成模型，使得模型样本信息表达准确，感知质量高，证明了卷积神经网络对特征表述的有效性。随后，GatysLA研究发现提取网络的不同层次的信息生成的表达效果不同，采用多层特征融合的方法可以使得风格表达更加丰富。在计算损失应该同时考虑内容和风格损失，要有参数系数来控制权重，在度量图像的纹理特征时，引入了Gram矩阵使得特征图内积和所在位置没有依附关系。Li等人对Gram矩阵度量风格迁移提出了质疑，通过理论证明了Gram矩阵的匹配等于最大平均偏差最小化(MMD)具有二阶多项式核。

发明内容

本文基于卷积神经网络对风格转移技术进行研究，通过对风格图像和内容图像在图像特征空间中实现了特征提取，改进了基于Grammatrix的图像风格转移算法，替换CNN中多层特征信息的相关性作为风格特征，在高层网络中进行求取均值和标准差实现归一化，提高风格特征的运算效率，同时对生成的特征图与内容图像进行PSNR和SSIM进行图像质量对比，同时对比改进算法的损失函数值趋势来减少图像特征的扭曲和伪影。

主要技术方案包括：风格提取网络，设计一个特征空间，该空间可以构建在各个网络层的卷积核上，来存储不同卷积核上的特征信息。不同网络层的卷积核的特征组合起来，可以获得丰富和稳定的特征；风格迁移训练，进行训练VGG-19网络的损失函数与权值，神经风格迁移中的损失函数与权值含义不同。

在VGG-19网络训练过程中，通过反向传播对权值进行更新，该权重是变化的，损失函数值与权值相关，输入图像的像素并没有改变。在神经风格迁移领域中，通过使用经过对象识别训练的深度神经网络，我们可以在特征空间中进行操作，以明确表示图像的高级内容。计算目标损失通过优化损失函数调整噪声图像x使得生成的内容特征集与原特征集合接近，生成的风格特征集与原图像风格特征集合接近；总的损失函数定义为内容损失函数和风格损失函数的加权和，通过优化最佳损失来获得生成风格图像。

实验仿真表明,该方法能够很好地提高风格特征的运算效率，减少图像特征的扭曲和伪影。

附图说明

下面是该方法主要的附图。

图1是本发明方法的流程图。

图2是原始内容图像。

图3是原始内容分别对应的原始风格图。

图4是G-NST算法生成的迁移图。