[发明专利]一种基于生成对抗网络的视觉显著性预测方法

说明书

技术领域

本发明涉及图像分析领域，尤其是涉及了一种基于生成对抗网络的视觉显著性预测方法。

背景技术

人类视觉感知系统对外界信息的处理加工过程是选择性的筛选，而不是全部接收，这一过程就是视觉显著性。信息技术的快速发展使得成像设备技术的发展越来越迅速，人们每天所接触的图像数据海量提升，因此视觉显著性预测方法的研究显得尤为重要，当前其较为成熟的应用主要有：场景渲染，图像压缩，主动视觉以及图像质量评估。然而传统的图像分析技术是针对图像整体信息进行全局处理，而对图像信息的处理没有优先级之分，计算比较复杂，效率低下。因此，如何快速筛选处理图像的目标区域和摒弃其他无关信息成为图像处理领域的一大挑战。

本发明提出了一种基于生成对抗网络的视觉显著性预测方法，基于两个深层卷积神经网络(DCNN)模块的显著生成对抗网络(SalGAN)架构，包括发生器和鉴别器，其组合旨在预测给定输入图像的视觉显著图；SalGAN中的过滤器权重通过将内容损失和对抗性损失组合而导致的感知损失进行训练。本发明中的损失函数是来自鉴别器的误差和相对于标定好的真实数据的交叉熵的组合，提高了对抗训练的稳定性和收敛率；与之前单独的交叉熵的进一步训练相比，对抗训练改善了其性能，使其更加快速高效。

发明内容

针对稳定性不高的问题，本发明的目的在于提供一种基于生成对抗网络的视觉显著性预测方法，基于两个深层卷积神经网络(DCNN)模块的显著生成对抗网络(SalGAN)架构，包括发生器和鉴别器，其组合旨在预测给定输入图像的视觉显著图；SalGAN中的过滤器权重通过将内容损失和对抗性损失组合而导致的感知损失进行训练。

为解决上述问题，本发明提供一种基于生成对抗网络的视觉显著性预测方法，其主要内容包括：

(一)基于两个深层卷积神经网络(DCNN)模块的显著生成对抗网络(SalGAN)架构；

(二)训练。

其中，所述的一种基于生成对抗网络的视觉显著性预测方法，对深层卷积神经网络(DCNN)的对抗训练可以实现状态性能与简单的编码器—解码器架构；基于二进制交叉熵(BCE)的内容损失显示，对于初始化发生器都是有效的，并且作为稳定对抗训练的正则化项；同时，与单独交叉熵的进一步训练相比，对抗训练改善了所有条形显性度量。

其中，所述的基于两个深层卷积神经网络(DCNN)模块的显著生成对抗网络(SalGAN)架构，包括发生器和鉴别器，其组合旨在预测给定输入图像的视觉显著图。

进一步地，所述的发生器，SalGAN遵循卷积编码器—解码器架构，其中编码器部分包括减小特征图的最大池层，而解码器部分使用上采样层，卷积滤波器构建与输入具有相同分辨率的输出；

网络的编码器部分在结构上与VGG-16相同，省略了最后的汇集和完全连接层；网络使用在对象分类的ImageNet数据集上训练的VGG-16模型权重来初始化；只有VGG-16中的最后两组卷积层在显著性预测的训练期间被修改，而较早的层相对于原始VGG-16模型保持固定；在训练期间固定权重节省计算资源；

解码器体系结构以与编码器相同的方式构造，但是层的顺序颠倒，并且池层由上采样层代替；在所有卷积层中使用非线性修正线性单元(ReLU)，并且最终1×1卷积层与S型非线性添加，产生显著图；解码器的权重被随机初始化。

进一步地，所述的鉴别器，网络由六个3×3内核卷积和三个池层组成，后面是三个完全连接的层；卷积层都使用ReLU激活，而完全连接层使用tanh激活，除了最后一层，其它使用S型激活。

其中，所述的训练，SalGAN中的过滤器权重已经通过将内容和对抗性损失组合而导致的感知损失进行训练；内容损失遵循经典方法，其中预测显著性图与来自标定好的真实数据相应显著性图像在像素方面相比；对抗损失取决于鉴别器，相对于生成的显著图的实际/合成预测。

进一步地，所述的内容损失，以每个像素为基础计算内容损失，其中将预测显著图的每个值与来自标定好的真实数据图的对应对等点进行比较；给定图像I的尺寸N＝W×H，将显著图S表示为概率的向量，其中S_j∈R^N是像素I_j被固定的概率；在预测显著性图和其对应的标定好的真实数据S之间定义内容损失函数

首先考虑的内容损失是均方差(MSE)或欧几里得损失，定义为：

MSE被用作基线参考；MSE对应于计算预测显著性和标定好的真实数据之间的欧几里得距离；