[发明专利]基于双重对抗的生成式对抗网络的图像局部风格迁移方法

说明书

本发明揭示了一种基于双重对抗的生成式对抗网络的图像局部风格迁移方法，包括如下步骤：S1、采集两类图像；S2、对所采集的两类图像进行预处理；S3、构建带有自注意力机制的双重对抗网络，将经过预处理的两类图像分别输入双重对抗网络的最小化的损失函数中，对双重对抗网络进行训练；S4、将经过训练的双重对抗网络中的生成器作为两类图像局部风格迁移的工具，并应用于实测。本发明的技术方案基于双重对抗的自注意力生成式对抗网络，能够使得局部特征的图到图转换更加聚焦于局部特征，方法使用效果优异。

技术领域

本发明涉及一种图像局部风格的迁移方法，尤其涉及一种基于双重对抗的生成式对抗网络的图像局部风格迁移方法，属于计算机视觉中的图像处理技术。

背景技术

近年来，随着人工智能技术的高速发展，深度学习成为了时下热门的研究领域。蒙特利尔大学的Ian Goodfellow等学者曾在2014年提出了生成式对抗网络的概念，这一概念的提出进一步加快了深度学习的研究进程。近年来，生成式对抗网络已经逐渐成为深度学习中的研究热点之一。

生成式对抗网络是一种生成模型，它的结构受启发于二人零和博弈。生成式对抗网络包含了一个生成器和一个判别器。生成器能够通过真实数据的潜在分布进行学习，随后生成假的数据分布来拟合逼近真实数据。判别器是一个分类器，能够判断数据分布是否为真。通过两个网络的不断竞争学习，生成器能够生成越来越逼真的假的数据分布，最终达到以假乱真的效果。

循环生成式对抗网络则是将生成式对抗网络与图到图转换的结合，循环生成式对抗网络本质上是两个镜像对称的生成式对抗网络，构成了一个环形网络。两个生成式对抗网络共享两个生成器和两个判别器，即共有两个判别器和两个生成器。循环生成式对抗网络适合处理图像风格迁移，但是应用于两类图像的局部特征迁移的过程中时，却很容易出现图像整体颜色的改变，即图像之前的转换不能较好的聚焦于操作者所期望的区域中、且图像也有可能会出现的条纹状噪声。

综上所述，如何在现有技术的基础上提出一种图像局部风格迁移方法，以解决现有技术中所存在的诸多问题，也就成为了业内技术人员新的研究方向。

发明内容

鉴于现有技术存在上述缺陷，本发明提出了一种基于双重对抗的生成式对抗网络的图像局部风格迁移方法，包括如下步骤：

S1、采集两类图像；

S2、对所采集的两类图像进行预处理；

S3、构建带有自注意力机制的双重对抗网络，将经过预处理的两类图像分别输入双重对抗网络的最小化的损失函数中，对双重对抗网络进行训练；

S4、将经过训练的双重对抗网络中的生成器作为两类图像局部风格迁移的工具，并应用于实测。

优选地，S1中所述两类图像包括真实第一类图像与真实第二类图像，所述真实第一类图像与真实第二类图像二者无需一一配对，所述真实第一类图像与真实第二类图像二者间的风格不同、且二者间具有相似性。

优选地，S1所述采集两类图像，具体包括如下步骤：利用爬虫技术，从图片网站上爬取清晰的两类图像各两千张。

优选地，S2中所述对所采集的两类图像进行预处理，具体包括如下步骤：对所述真实第一类图像与真实第二类图像进行筛选，去除两类图像中的模糊图像，将所有图像均设置为同一尺寸，随后将两类图像各自保存为训练样本。

优选地，S3中所述双重对抗网络包括生成器、判别器及抑制器，所述生成器、判别器与所述生成器、抑制器同时进行对抗训练，所述生成器包括第一生成器及第二生成器，所述判别器包括第一判别器及第二判别器。

优选地，在所述生成器和判别器的网络结构中均包括自注意力机制模块。

优选地，S3中所述对双重对抗网络进行训练，具体包括如下步骤：