[发明专利]基于U网络和对抗学习的显著性检测方法

摘要

本发明属于计算机数字图像处理技术领域，具体为一种基于U网络和对抗学习的显著性检测方法。本发明步骤为：构建深度神经网络：神经网络整体设计基于对抗生成网络，包含生成器与鉴别器，生成器在结构上使用了自编码器结构与跳跃连接，主要由编码器和译码器组成，编码器是由编码模块组成，编码模块使用了堆叠的残差模块，译码器主要由解码器组成，也使用了堆叠的残差模块；训练深度神经网络：使用公开的、真实场景下的显著性图像数据集，利用多尺度的图像内容损失函数与对抗损失函数，训练前一步中构建的深度神经网络；利用训练好的网络模型，对自然图像进行检测，再将得到的结果进行后处理，得到最终的结果。本发明方法能够提高显著性检测的准确性。

主权项

1.一种基于U网络和对抗学习的显著性检测方法，其特征在于，具体步骤如下：

(1)构建深度神经网络；

(2)训练深度神经网络；

(3)利用训练好的网络模型进行显著性检测；

(4)利用全连接的条件随机场进行后处理；

其中：

步骤(1)所述的构建深度神经网络，具体过程如下：

(11)构造生成器；

(12)构造鉴别器；

步骤(2)所述的训练深度神经网络，具体过程如下：

(21)构造损失函数；

(22)使用公开的、自然场景下的图像数据集，训练构造好的神经网络。

2.根据权利要求1所述的基于U网络和对抗学习的显著性检测方法，其特征在于，步骤(11)中所述构造生成器，其具体过程如下：

(111)构造编码模块：包含6个编码块，每个编码块由顺序连接的3个残差块和最大池化组成；

(112)构造中部模块：包含1个中部块，每个中部块由顺序连接的2个残差块组成；

(113)构造解码模块：包含6个解码块，每个解码块由顺序连接的通道连接，2个残差块和双线性升采样组成；

(114)构造多尺度输出模块，包含3个卷积层。

3.根据权利要求2所述的基于U网络和对抗学习显著性检测方法，其特征在于，步骤(111)中所述构造编码模块，其具体过程如下：

(1111)构造残差块；

(1112)构造最大池化层；

(1113)将残差块和最大池化层顺序堆叠起来组成编码块；

(1114)将6个编码块顺序连接起来；

(1115)、每个编码块输出的特征映射通道数从16开始，不断翻倍，直至最后一个编码块变为1024，即为16，32，64，128，256，512，1024。

4.根据权利要求3所述的基于U网络和对抗学习显著性检测方法，其特征在于，步骤(1111)中所述构造残差块，其具体过程如下：

(11111)定义卷积层，每个卷积层的卷积核大小都为3×3，步长都为1；

(11112)定义批标准化层；

(11113)定义非激活函数；

(11114)将卷积层，批标准化层，非激活函数顺序连接，再加上残差连接组成残差块。

5.根据权利要求2所述的基于U网络和对抗学习显著性检测方法，其特征在于，步骤(112)中所述构造中部模块，其具体过程如下：

(1121)构造残差块，构造方法和步骤(1111)相同；

(1122)将两个相同的残差块顺序连接起来。

6.根据权利要求2所述的基于U网络和对抗学习显著性检测方法，其特征在于，步骤(113)中所述构造解码模块，其具体过程如下：

(1131)构造通道连接层；

(1132)构造残差块，构造方法和步骤(1111)相同；

(1133)构造双线性采样层；

(1134)将上述三者顺序连接起来组成解码块；

(1135)将6个解码快顺序连接起来

(1136)将每个编码块的输出作为输出传到对应的解码块，利用通道连接层进行连接。

7.根据权利要求2所述的基于U网络和对抗学习显著性检测方法，其特征在于，步骤(114)中所述构造多尺度输出模块，其具体过程如下：

(1141)定义3个卷积层；每个卷积层的卷积核大小都为3×3，步长都为1，输出的特征映射通道数为64，64，1；

(1142)将3个卷积层顺序连接；

(1143)将输出模块连接到在最后两个解码块。

8.根据权利要求1所述的基于U网络和对抗学习显著性检测方法，其特征在于，步骤(12)中所述构造鉴别器；其具体过程如下：

(121)定义7个卷积层；第一个卷积层的卷积核大小是3×3，步长是1，输出的特征映射通道数是3；第二个卷积层的卷积核大小是1×1，步长是1,输出的特征映射通道数是32；第三个卷积层的卷积核大小是5×5，步长是2,输出的特征映射通道数是32；第四到七个卷积层是一样的，每个卷积层的卷积核大小都为5×5，步长都为2，输出的特征映射通道数是64；每一个卷积层后连接一个非线性激活层；

(122)定义3个线性全连接层，前面两个的输出维度都是32，最后一个是1，每一层后都连接一个非线性激活层；

(123)将之前定义的卷积层和全连接层顺序连接起来。

9.根据权利要求1所述的基于U网络和对抗学习显著性检测方法，其特征在于，步骤(21)中所述构造损失函数，其具体过程如下：

(211)构造生成器的交叉熵损失函数，损失函数为L_g损失函数，具体形式为：

其中，S，G分别表示输出结果与标签，n表示图像中的元素总数,θ表示网络的参数；

(212)构造生成器的多尺度函数L_con，具体形式为：

L_con＝L_g1+L_g2+L_g3

分别表示三个尺度的交叉熵损失函数；

(213)构造鉴别器的对抗损失函数，具体形式为：

其中，G表示的是标签信息，I表示的是输入图像，S表示的是预测结果。

10.根据权利要求1所述的基于U网络和对抗学习显著性检测方法，其特征在于，步骤(22)中所述使用公开的