[发明专利]一种基于生成对抗网络的图像形状变换方法

说明书

本发明公开了一种基于生成对抗网络的图像形状变换方法，包括以下步骤：生成待变换图像的分割掩码；构建生成器和判别器，并通过生成器和判别器构建生成对抗网络；构建损失函数，根据损失函数并以梯度下降法训练生成对抗网络；将待变换图像的分割掩码输入至训练后的生成对抗网络，得到图形形状变换结果。本发明的复杂程度低，图像转换的效率高，可以高效地处理图片中的特定图像进行形状差异大的图形变换，可以运用在动画制作、海报设计等领域，既可以增强图形变换的真实度，也可以降低人工成本，减少工作量。

技术领域

本发明属于图像翻译领域，具体涉及一种基于生成对抗网络的图像形状变换方法。

背景技术

对抗神经网络模型在许多应用中都取得了显著成功，例如图像修复，语义分割，图像字幕，视频生成，样式转换等。图像翻译是计算机视觉中研究最多的领域之一，近年来，由于生成对抗网络的发展，图像翻译领域得到了很大程度的发展。对于给定的来自两个不同域的成对的训练数据，我们可以使用有条件的生成对抗网络以监督的方式训练模型。在没有成对数据集的情况下，我们也可以使用无监督的循环生成对抗网络并使用自洽性损失(self-consistency loss)来解决图像到图像的转换。

但该领域的大多数技术都专注于两个相似形状的风格之间的转换任务，例如季节转换、自拍到动漫，样式转换等，而在不同形状的物体之间的转换任务上没有较好的表现。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于生成对抗网络的图像形状变换方法解决了现有技术中存在的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于生成对抗网络的图像形状变换方法，包括以下步骤：

S1、生成待变换图像的分割掩码；

S2、构建生成器和判别器，并通过生成器和判别器构建生成对抗网络；

S3、构建损失函数；

S4、根据损失函数并以梯度下降法训练生成对抗网络；

S5、将待变换图像的分割掩码输入至训练后的生成对抗网络，得到图形形状变换结果。

进一步地，所述步骤S1具体为：对待变换图像生成关于原始域X的分割掩码m_x以及关于目标域Y的分割掩码m_y。

进一步地，所述步骤S2中生成器包括依次连接的下采样模块、第一Resnet残差网络模块、第二Resnet残差网络模块、第三Resnet残差网络模块、第四Resnet残差网络模块、第五Resnet残差网络模块、第六Resnet残差网络模块以及上采样模块；

所述下采样模块包括依次连接的第一填充层、第一卷积层、第一IN归一化层、第一激活层、第二卷积层、第二IN归一化层、第二激活层、第三卷积层、第三IN归一化层以及第三激活层；

每个所述Resnet残差网络模块均包括依次连接的第二填充层、第四卷积层、第四IN归一化层、第四激活层、第三填充层、第五卷积层以及第五IN归一化层；

所述上采样模块包括依次连接的第一反卷积层、第六IN归一化层、第五激活层、第二反卷积层、第七IN归一化层、第六激活层、第四填充层、第六卷积层以及第七激活层。

进一步地，所述步骤S2中判别器包括依次连接的第七卷积层、第一SN归一化层、第一最大激活层、第八卷积层、第二SN归一化层、第八IN归一化层、第二最大激活层、第八卷积层、第三SN归一化层、第九IN归一化层、第三最大激活层、第三反卷积层、第四SN归一化层、第十IN归一化层、第四最大激活层、第四反卷积层以及第五SN归一化层。

进一步地，所述步骤S2中通过生成器和判别器构建生成对抗网络的具体方法为：