[发明专利]一种基于随机重构的无监督图像到图像的转换方法

说明书

本发明公开了一种基于随机重构的无监督图像到图像的转换方法，包括以下步骤：通过残差注意力网络生成粗糙结果，对粗糙结果进行加工，通过对抗损失更新生成器及判别器，通过随机重构更新生成器。此技术方案，有效的随机特征重构损失来保留源域的内容信息，能够很好的将源域的内容和目标域的风格相融合；生成的图像细节更加丰富，图像纹理清晰；提高了生成对抗网络的稳定性。可以广泛的应用于多种图像转换任务当中，具有广泛的应用前景。

技术领域

本发明涉及计算机图形学、计算机视觉与深度学习技术领域，具体涉及一种基于随机重构的无监督图像到图像的转换方法。

背景技术

图像到图像的转换是一类视觉和图形学的问题，在计算机图像学及计算机视觉领域很多问题都可以认为是将一张输入图片转换为相应的输出图片，包括语义风格，风格迁移，图像去模糊，图像增强等。有监督的图像到图像转换需要大量的一一对应的数据集来进行训练，但很多时候，我们无法获取成对的数据集用于训练图像到图像的转换模型，比如我们永远也无法拍到梵高当初看到的星空，在这种场景下无监督的图像到图像的转换就具有特殊的意义。

基于学习的图像到图像的转换大致可以分为两类：成对的模型和不成对的模型。Pix2Pix是第一个图像到图像转换的统一框架，并且广泛的运用于超像素分辨中。最近的有一些关于不成对的图像到图像的转换模型，其主要想法就是在源域和目标域之间建立一个映射。CoGAN通过一个权重共享策略来学习一个共享的跨域表示，SimGAN通过自正则的方式来保持输入和输出有相同的内容，并通过对抗损失来学习目标域的分布。CycleGAN通过循环一致损失将整个模型约束成两个自编码，可以实现两个域的图像的互相转换。UNIT通过共享两个域的隐空间来实现图像的跨域转换。MUNIT在隐空间中加入了随机的编码，可以实现多个领域的图像转化。

随着研究的深入，无监督的图像到图像的转换技术已经取得了一定发展，然而，目前仍存在一些关键问题尚待解决。目前的图像到图像的转换模型生成的图像内容与风格的融合不够真实，缺乏细节，而图像到图像的转换必须有丰富的细节。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于随机重构的无监督图像到图像的转换方法，该转换方法实现图像到图像的转换，并通过随机重构输入图像的深层特征来消除图像风格与内容的融合不真实，通过增强模块来丰富生成图像的细节。

为实现上述目的，本发明提供了如下技术方案：一种基于随机重构的无监督图像到图像的转换方法，包括以下步骤：

(1)将源域图片x输入到一个残差注意力网络G中，用于生成粗糙的图像G(x)，将生成的粗糙图像再输入到一个增强模块中用于对粗糙结果的精加工得到并通过生成对抗损失来学习目标图像的分布，再通过随机重构损失来保持原图像的内容特征；

(2)将生成的粗糙结果G(x)及精细结果分别输入到两个判别器中来指导残差注意力网络及增强模块的更新；

(3)通过预训练的VGG16网络来分别提取输出图片和源域图像x的高层特征，然后随机挑选一部分特征进行重构来保持源域的信息，

作为优选的，步骤(1)，包括以下子步骤：

(1.1)将源域图像分别输入到一个主分支网络中和掩码分支网络中去，主分支网络和掩码分支网络都由一个卷积前端和一个转置卷积后端构成，主分支网络用来学习一个源域到目标域的映射，掩码网络用来学习一个掩码权重并对主分支网络进行加权修正，以此来提高主分支网络的特征表达能力；

(1.2)将粗糙结果G(x)输入到增强模块，对生成结果进行加工；

(1.3)增强模块由两个DenseASPP模块构成，极大的丰富生成图像的细节。

作为优选的，步骤(2)，包括以下子步骤：