[发明专利]一种基于生成对抗网络的非匹配图像风格转换方法

说明书

一种基于生成对抗网络的非匹配图像风格转换方法，包括以下步骤：1)同时输入属于A风格图像x_a以及属于B风格图像x_b进入风格转换神经网络中；2)根据源域图像，网络生成器生成对应的目标域风格图像；3)将源域与生成的目标域图像经过分割网络，通过形状一致性损失进行约束；4)将源域与生成的目标域图像经过感知网络，通过感知损失进行一致性约束；5)判别器对生成器生成的图像进行质量评判；6)按步骤1)～5)重复设定次数，直到网络收敛。本发明旨在没有互相匹配的图像数据情况下，利用深度学习技术，实现将图像的风格进行有效的转换。通过精心设计的网络结构，能够有效地提高转换图像的质量且适应于更广阔的应用场景范围。

技术领域

本发明属于深度学习中的生成对抗网络领域，并引入了注意力机制，是一种实现了非匹配图像风格转换的方法。

背景技术

近年来，深度学习技术越来越受到研究者的重视，并已成功地应用于许多实际应用中。深度学习算法试图从海量数据中学习高级特征，这使得深度学习超越了传统的机器学习。它可以通过无监督或半监督的特征学习算法和分层特征提取来自动提取数据特征。相比之下，传统的机器学习方法需要手工设计功能，这严重增加了用户的负担。可以说，深度学习是机器学习中基于大规模数据的表示学习算法。

而在生成对抗网络(GAN)的应用方面，近年来也是深度学习领域中一个热门的研究课题。2014年至今，人们对GAN进行了广泛的研究，并提出了大量算法，GAN在结构上包含了生成器、判别器，通过两者的相互博弈，共同提高性能。GAN在图像处理与计算机视觉、自然语言处理、语音与音频、医学以及数据科学中都有着广泛的应用。

图像风格转换是近些年新兴起的一种基于深度学习的技术，它也伴随着深度学习发展的而发展迅速。图像风格转换属于纹理转换问题，纹理转换问题在经典方法中采用了一些非参数的方法，例如利用一些固定的方法来进行渲染。而传统方法只能做到对底层特征的提取，而卷积神经网络能够对图像特征的高层特征的提取，使得图像内容与风格分离提供了可行性。

近几年，注意力机制不管在自然语言处理还是在计算机视觉领域中，都是热门的研究方向。许多学者也提出了若干种注意力机制来提高模型的相关任务的性能。计算机视觉中的注意力机制的基本思想是想让模型学会注意力，即能够忽略无关信息而关注重点信息。

从目前相关领域的研究现状来说，目前的风格转换算法主要分为两大类，一种是基于匹配数据的风格转换算法，另一种是基于非匹配数据的风格转换算法。具体来说，数据的匹配指的是从内容角度来看，两张图像具有一致的内容属性，但是从风格角度来看，两者属于不同的风格域。例如，同样一个地点对应的夏天与冬天的风景两张图像，然后将这两张图像在训练时成对进行输入。反之，数据的非匹配指的是无需要求数据严格进行匹配之后欧成对输入网络，输入的图像只要是来自两个不同的域即可。根据目前的研究结果，基于匹配数据集的算法实验效果更优，但是匹配的数据集稀少，获取难度大也是不可忽视的问题，这也导致基于匹配数据集的风格转换算法应用的范围较小，这也促使基于非匹配数据的风格转换算法成为了众多研究者进行研究的侧重点。目前的非匹配数据算法存在着图像细节不够清晰，边缘形状发生改变以及训练较为困难等问题。而本发明利用编解码器，对图像进行拆分重组操作，对拆分的内容编码进行保留，并引入注意力机制使得网络关注于重要区域的细节信息，能够解决上述存在的相关难题。

发明内容

为了克服现有技术的不足，本发明提供一种基于生成对抗网络的非匹配图像风格转换方法，在没有互相匹配的图像数据情况下，利用深度学习技术，实现将图像的风格进行有效的转换。通过精心设计的网络结构，能够有效地提高转换图像的质量且适应于更广阔的应用场景范围。

本发明解决其技术问题所采用的技术方案是：

一种基于生成对抗网络的非匹配图像风格转换方法，所述方法包括以下步骤：