[发明专利]一种基于生成对抗网络的视觉显著性预测方法

权利要求书

1.一种基于生成对抗网络的视觉显著性预测方法，其特征在于，主要包括基于两个深层卷积神经网络(DCNN)模块的显著生成对抗网络(SalGAN)架构(一)；训练(二)。

2.基于权利要求书1所述的一种基于生成对抗网络的视觉显著性预测方法，其特征在于，对深层卷积神经网络(DCNN)的对抗训练可以实现状态性能与简单的编码器—解码器架构；基于二进制交叉熵(BCE)的内容损失显示，对于初始化发生器都是有效的，并且作为稳定对抗训练的正则化项；同时，与单独交叉熵的进一步训练相比，对抗训练改善了所有条形显性度量。

3.基于权利要求书1所述的基于两个深层卷积神经网络(DCNN)模块的显著生成对抗网络(SalGAN)架构(一)，其特征在于，包括发生器和鉴别器，其组合旨在预测给定输入图像的视觉显著图。

4.基于权利要求书3所述的发生器，其特征在于，SalGAN遵循卷积编码器—解码器架构，其中编码器部分包括减小特征图的最大池层，而解码器部分使用上采样层，卷积滤波器构建与输入具有相同分辨率的输出；

网络的编码器部分在结构上与VGG-16相同，省略了最后的汇集和完全连接层；网络使用在对象分类的ImageNet数据集上训练的VGG-16模型权重来初始化；只有VGG-16中的最后两组卷积层在显著性预测的训练期间被修改，而较早的层相对于原始VGG-16模型保持固定；在训练期间固定权重节省计算资源；

解码器体系结构以与编码器相同的方式构造，但是层的顺序颠倒，并且池层由上采样层代替；在所有卷积层中使用非线性修正线性单元(ReLU)，并且最终1×1卷积层与S型非线性添加，产生显著图；解码器的权重被随机初始化。

5.基于权利要求书3所述的鉴别器，其特征在于，网络由六个3×3内核卷积和三个池层组成，后面是三个完全连接的层；卷积层都使用ReLU激活，而完全连接层使用tanh激活，除了最后一层，其它使用S型激活。

6.基于权利要求书1所述的训练(二)，其特征在于，SalGAN中的过滤器权重已经通过将内容和对抗性损失组合而导致的感知损失进行训练；内容损失遵循经典方法，其中预测显著性图与来自标定好的真实数据相应显著性图像在像素方面相比；对抗损失取决于鉴别器，相对于生成的显著图的实际/合成预测。

7.基于权利要求书6所述的内容损失，其特征在于，以每个像素为基础计算内容损失，其中将预测显著图的每个值与来自标定好的真实数据的对应对等点进行比较；给定图像I的尺寸N＝W×H，将显著图S表示为概率的向量，其中S_j∈R^N是像素I_j被固定的概率；在预测显著性图和其对应的标定好的真实数据S之间定义内容损失函数

首先考虑的内容损失是均方差(MSE)或欧几里得损失，定义为：

MSE被用作基线参考；MSE对应于计算预测显著性和标定好的真实数据之间的欧几里得距离；

标定好的真实数据显著图被归一化，使得每个值在范围[0,1]内；因此，显著性值可以被解释为观察者所关注的特定像素概率的估计；因此，在最终层上使用softmax，在预测上诱导多项分布；可以考虑多于单个像素，使得更适合于将每个预测值，独立于其他预测值；因此，对最终层中的每个输出应用元素方式的S形，使得像素方式的预测可以被认为是独立的二进制随机变量的概率；在这种设置中的适当损失是二进制交叉熵，是所有像素上的各个二进制交叉熵(BCE)的平均值：

如上式所示。

8.基于权利要求书6所述的对抗性损失，其特征在于，生成式对抗网络(GAN)通常用于生成具有现实统计特性的图像；这是同时拟合两个参数函数；发生器的这些函数中的第一个被训练函数，将样本从简单分布(例如高斯)变换成更复杂分布(例如自然图像)的样本；第二函数，即鉴别器，被训练来区分样本与真实分布和生成的样本；训练在使用生成的和实际样本训练鉴别器和训练发生器之间交替进行，通过保持鉴别器权重恒定，并且通过鉴别器反向传播误差来更新发生器权重。