[发明专利]一种GAN隐藏层单元与生成图像中物体相关性的方法及系统

说明书

本发明涉及GAN网路和语义分割网络领域，具体提供了一种GAN隐藏层单元与生成图中物体相关性的方法，分为以下步骤：S01、获取GAN网络中的生成网络；S02、利用语义分割网络对GAN网络输出的生成图片指定类别进行识别和分割，得到类别的区域Sc；S03、从GAN网络的生成网络的中间层中得到特征图feature map；S04、利用信息质量比计算feature map中的阈值，通过阈值找到feature map中的指定类别区域；S05、计算步骤S02与步骤S04两个区域的交并比，通过交并比来表示隐藏单元与生成图像中对应物体的相关性。与现有技术相比，本发明在一定程度上揭示了GAN网络中隐藏层单元与生成图中各个语义之间的关系，使人们可以通过激活和抑制特定隐藏层单元来生成特定的、定制化的图像，具有良好的推广价值。

技术领域

本发明涉及GAN网路和语义分割网络领域，具体提供一种GAN隐藏层单元与生成图像中物体相关性的方法及系统。

背景技术

生成对抗网络(Generative Adversarial Network，简称GAN)是一种非监督式学习的一种方法，通过让两个神经网络相互博弈的方式进行学习。

GAN网路是由一个生成网络和一个判别网络组成。生成网络从潜在空间(latentspace)中随机取样作为输入，其输出结果需要尽量模仿训练集中的正样本，判别网络的输入则为真实样本或生成网络的输出，最终目的是使判别网络无法判断生成网络的输出结果是否真实。

图像的语义分割是将输入图像中的每一个像素分配一个语义类别C，以得到像素化的密集分类。一般的语义分割架构可以被认为是一个编码器-解码器网络。编码器通常是一个预训练的分类网络，然后是一个解码网络。不同的架构的区别主要在于解码网络。解码器的任务是将编码器学习到的可判别特征从语义投影到像素空间，以获得一副图像中对于像素点在类别上的密集分类。

目前的GAN网络大多数只能随机生成图像，人们无法了解GAN网络是根据什么机制生成的图片，因此也就无法控制GAN网络生成出特定的、定制化的图片。如何将GAN网络与图像语义分割相结合，来解决生成层中的隐藏单元与生成物体间的关系问题，是本领域技术人员亟需解决的问题。

发明内容

本发明是针对上述现有技术的不足，提供一种实用性强的GAN隐藏层单元与生成图像中物体相关性的方法。

本发明进一步的技术任务是提供一种安全适用的GAN隐藏层单元与生成图像中物体相关性系统。

本发明解决其技术问题所采用的技术方案是：

一种GAN隐藏层单元与生成图中物体相关性的方法，分为以下步骤：

S01、获取GAN网络中的生成网络；

S02、利用语义分割网络对GAN网络输出的生成图片指定类别进行识别和分割，得到类别的区域Sc；

S03、从GAN网络的生成网络的中间层中得到特征图feature map；

S04、利用信息质量比计算feature map中的阈值，通过阈值找到feature map中的指定类别区域；

S05、计算步骤S02与步骤S04两个区域的交并比，通过交并比来表示隐藏单元与生成图像中对应物体的相关性。

进一步的,在步骤S02中，利用语义分割网络对GAN生成的图像进行语义分割，将GAN网络生成的图像作为输入传入语义分割网络中，语义分割网络将会输出图像中各个像素点的类别，得到某一类别物体在图像中的分布坐标与区域Sc。

作为优选,所述的语义分割网络为FCN、SegNet、PSPNet或Mask-RCNN。