[发明专利]一种GAN隐藏层单元与生成图像中物体相关性的方法及系统有效

申请号：	202010036976.X	申请日：	2020-01-14
公开（公告）号：	CN111242133B	公开（公告）日：	2022-06-28
发明（设计）人：	安程治;李锐;金长新	申请（专利权）人：	山东浪潮科学研究院有限公司
主分类号：	G06V10/26	分类号：	G06V10/26;G06V10/764;G06V10/82;G06N3/04;G06K9/62
代理公司：	济南信达专利事务所有限公司 37100	代理人：	姜明
地址：	250100 山东省济***	国省代码：	山东;37
权利要求书：	查看更多	说明书：	查看更多
摘要：
搜索关键词：	一种 gan 隐藏单元生成图像物体相关性方法系统
钻瓜网技术展会专利词库专利权人专利榜在售专利公布日期热门专利

【权利要求书】：

1.一种GAN隐藏层单元与生成图中物体相关性的方法，其特征在于，分为以下步骤：

S01、获取GAN网络中的生成网络；

S02、利用语义分割网络对GAN网络输出的生成图片指定类别进行识别和分割，得到类别的区域Sc；

包括：

利用语义分割网络对GAN生成的图像进行语义分割，将GAN网络生成的图像作为输入传入语义分割网络中，语义分割网络将会输出图像中各个像素点的类别，得到某一类别物体在图像中的分布坐标与区域Sc；

S03、从GAN网络的生成网络的隐藏层中得到特征图feature map；

S04、利用信息质量比计算feature map中的阈值，通过阈值找到feature map中的指定类别区域；

S05、计算步骤S02与步骤S04两个区域的交并比，通过交并比来表示隐藏单元与生成图像中对应物体的相关性。

2.根据权利要求1所述的一种GAN隐藏层单元与生成图中物体相关性的方法，其特征在于，所述的语义分割网络为FCN、SegNet、PSPNet或Mask-RCNN。

3.根据权利要求1所述的一种GAN隐藏层单元与生成图中物体相关性的方法，其特征在于，在步骤S03中，生成网络有多层隐藏层，每一层隐藏有多个卷积核，生成网络每一层的输出为feature map，每个feature map由多个通道构成，即卷积核输出的结果对应为featuremap中的channel，将channel定义为隐藏层单元U_i。

4.根据权利要求3所述的一种GAN隐藏层单元与生成图中物体相关性的方法，其特征在于，在步骤S04中，利用U_i的信息质量比，确定特征图中与生成图中对应类别相关区域，公式如下：

其中，I表示互信息，H表示联合熵，t为阈值常数；

U_i大于t的部分为在特征图通道上对应区域。

5.根据权利要求4所述的一种GAN隐藏层单元与生成图中物体相关性的方法，其特征在于，计算步骤S02与步骤S04两个区域的交并比，通过交并比表示隐藏层单元与生成图像中对应物体的相关性，计算公式如下：

。

6.一种GAN隐藏层单元与生成图中物体相关性的系统，其特征在于，包括GAN网络生成图模块、语义分割网络模块、检测物体区域模块、特征图模块、特征图通道模块和交并比模块，所述GAN网络生成图模块、语义分割网络模块、检测物体区域模块和交并比模块依次连接，所述GAN网络生成图模块、特征图模块、特征图通道模块和交并比模块依次连接；

所述GAN网络生成图模块用于获取GAN网络中生成网络；

所述语义分割网络模块用于对GAN网络输出的生成图片中指定类别进行识别和分割；

所述检测物体区域模块用于将GAN网络生成的图像作为输入传入语义分割网络中，语义分割网络将会输出图像中各个像素点的类别，得到某一类别物体在图像中的分布坐标与区域Sc；

所述特征图模块用于在GAN的生成网络的隐藏层中得到特征图feature map；

所述特征图通道模块用于利用信息质量比计算feature map中的阈值，通过阈值找到feature map中指定类别区域；

交并比模块用于计算检测物体区域模块与特征图通道模块的交并比。

7.根据权利要求6所述的一种GAN隐藏层单元与生成图中物体相关性的系统，其特征在于，在特征图通道模块通道的隐藏层单元定义为U_i，利用U_i的信息质量比，确定特征图中与生成图中对应类别相关区域，公式如下：

其中，I表示互信息，H表示联合熵，t为阈值常数；

Ui大于t的部分为在特征图通道上对应区域。

8.根据权利要求7所述的一种GAN隐藏层单元与生成图中物体相关性的系统，其特征在于，交并比模块中计算交并比的计算公式为：

。

9.根据权利要求8所述的一种GAN隐藏层单元与生成图中物体相关性的系统，其特征在于，所述语义分割网络模块为FCN、SegNet、PSPNet或Mask-RCNN模块。