[发明专利]一种结合边缘信息的图像显著性目标检测方法

权利要求书

1.一种结合边缘信息的图像显著性目标检测方法，其特征在于，步骤如下：

步骤(1)：使用编码器网络对输入图像进行特征提取，从而获得5个不同尺度的特征；

步骤(2)：在解码器步骤中使用边缘信息模块；将编码器中1、2、3层的特征信息经过conv，然后将2、3层的特征信息进行上采样与1层的特征进行拼接，将拼接后特征进行conv处理来压缩通道，最后经过sigmoid获得边缘预测图；

步骤(3)：将第4层和第5层特征分别经过conv，然后将第4层和第5层的特征信息进行上采样；将步骤(2)中得到的边缘预测图分别与上述两个特征按照像素位置进行相加；最后将两层特征沿通道维进行拼接，再经过conv处理压缩通道并使用sigmoid激活函数最终得到网络的预测显著图；

步骤(4)：使用损失函数对整体模型网络进行优化。

2.根据权利要求1所述的一种结合边缘信息的图像显著性目标检测方法，其特征在于，步骤(1)具体方法如下：

使用在ImageNet上预训练的Resnet34网络编码图像特征；从中取出conv1、conv2_3、conv3_4、conv4_6、conv5_3的输出特征F₁,F₂,F₃,F₄,F₅作为编码器5个层级的输出；已知输入特征为(H,W,3)(其中H,W,3分别为特征的高、宽、通道数)；则conv1的输出特征为F₁(H,W,64)，conv2_3的输出特征为F₂(H/2,W/2,64),conv3_4的输出特征为F₃(H/4,W/4,128),conv4_6的输出特征为F₄(H/8,W/8,256),conv5_3的输出特征为F₅(H/16,W/16,512)。

3.根据权利要求2所述的一种结合边缘信息的图像显著性目标检测方法，其特征在于，步骤(2)具体方法如下：

在解码器阶段使用边缘信息提取模块；使用第1层输出特征F₁(H,W,64)、第2层输出特征F₂(H/2,W/2,64)、第3层输出特征F₃(H/4,W/4,128)特征作为边缘信息提取模块的输入；首先将上述三层特征经过卷积核为3*3的卷积操作将三层特征的通道数归为128；然后将卷积后的第2层、第3层特征进行双线性差值升采样到与第一层特征具有相同的分辨率(H,W,128)；将这三层特征沿通道维进行拼接得到拼接后的的特征(H,W,384)，之后使用3*3conv将拼接后的特征(H,W,384)变换为(H,W,128)，然后使用1*1conv将得到的特征变换为(H,W,1)，使用sigmoid激活函数的到边缘信息预测图。

4.根据权利要求3所述的一种结合边缘信息的图像显著性目标检测方法，其特征在于，步骤(3)具体方法如下：

将第4层输出特征F₄(H/8,W/8,256)和第5层输出特征F₅(H/16,W/16,512)分别经过3*3conv两层特征的通道变换为128，之后经过双线性差值升采样得到与第1层输出特征相同分辨率(H,W,128)；将步骤(2)中得到的边缘信息预测图分别与上述两个特征按照像素位置进行相加；最后将两层特征沿通道维进行拼接得到拼接后的特征(H,W,256)，再经过1*1conv将拼接后的特征变换为(H,W,1)并使用sigmoid激活函数最终得到网络的预测显著图。

5.根据权利要求4所述的一种结合边缘信息的图像显著性目标检测方法，其特征在于，步骤(4)具体方法如下：

该网络的损失函数为交叉熵损失

上式中，i表示图像中第i个像素，n表示图像中共有n个像素，P是显著图的预测结果，G是标签；

使用上述的损失函数作为优化目标，使损失函数最小化，对网络模型优化。