[发明专利]一种基于注意力机制的多特征循环卷积显著性目标检测方法

权利要求书

1.一种基于注意力机制的多特征循环卷积显著性目标检测方法，其特征在于，包括如下步骤：

步骤一、分析自然图像中显著性目标具有的共性的特点，包括空间分布和对比度特征，使用改进的U-Net全卷积神经网络，其采用编码器-解码器结构进行逐像素点预测，编码器与解码器之间采用跨层连接的方式进行多层级、多尺度特征融合；

步骤二、由于直接使用U-Net的跨层连接方式，将编码端特征与解码端特征进行concatenate融合会引入大量的杂波，干扰最后预测图生成，因此引入注意力模块从通道间和像素间两个角度标定全像素权重，增强任务相关像素权重，弱化背景和噪声影响；

步骤三、为进一步提升输出图质量，使用多特征循环卷积模块作为后处理手段，通过迭代来增强空间分辨能力，进一步细化分割图像区域的边缘，得到更精细的显著目标掩膜。

2.根据权利要求1所述的一种基于注意力机制的多特征循环卷积显著性目标检测方法，其特征在于，在步骤一中，使用改进的U-Net全卷积神经网络，其采用的编码器-解码器结构进行逐像素点预测，编码器与解码器之间采用跨层连接的方式进行多层级、多尺度特征融合，实现目标区域准确分割；自然图像中显著性目标位于图像中央且目标尺度相对较大，显著性目标对于周围环境具有颜色、亮度区别；在全卷积神经网络中，利用最后一层语义特征进行解码生成的图像具有严重“马赛克”现象，此时使用跨层连接将浅层细节特征与深层语义特征进行融合，能提高编码器预测图的细节表征能力；U-Net采用对称编码器-解码器结构进行逐像素点预测，编码器与解码器之间采用跨层连接的方式进行多层级、多尺度特征融合，从而实现目标区域准确分割；其编码器由五层卷积块组成，实现输入图像的高层语义特征提取；卷积块包含2个3x3卷积层，1个BN层，1个ReLU激活层；卷积块之间采用最大池化层进行下采样，确保特征描述具有一定全局性；每次下采样后特征通道数翻倍，第5层不进行加倍；解码器采用双线性插值加普通卷积的方式进行上采样，上采样后通道数不变，并与对称位置的编码端特征进行“像素加”融合。

3.根据权利要求2所述的一种基于注意力机制的多特征循环卷积显著性目标检测方法，其特征在于，在步骤二中，引入注意力机制对编码器特征进行预加权处理，过滤有害杂波干扰；设计双注意力模块，在融合编码端特征与解码端特征之前，先将编码端特征接入设计的通道间-像素间双注意力模块，标定通道间响应权重，突出前景区域像素响应强度，增强任务相关特征表征能力，弱化背景和噪声影响；其中通道间注意力由SE模块生成，SE模块采用squeeze-excitation操作，为输入特征图各特征通道赋予权重；采用squeeze操作获取各通道特征的全局信息，得到一个长度为1×1×C的描述符，该描述符用来权衡各通道特征整体响应的相对强弱；此处采用全局平均池化的方式获取全局信息；设输入张量为X＝(X₁,X₂,…X_a,…,X_C)∈R^W×H×C，X_a∈R^W×H；squeeze操作描述为：

式中：Z＝(Z₁,Z₂,…Z_a,…,Z_C)∈R^1×1×C，Z_a∈R^1×1；

采用excitation操作对全局信息描述符进行仿射变换，捕获通道间依赖性；此处采用全连接层进行实现，excitation操作描述为：

S＝F_ex(Z)＝σ{FC₂[δ(FC₁(Z))]}

式中：FC₁为含有C/r个单元的全连接层，δ表示ReLU激活函数，FC₂表示含有r个单元的全连接层，σ表示Sigmoid激活函数，S表示各通道权重赋值向量，S＝(S₁,S₂,…S_a,…,S_C)∈R^1×1×C，S_a∈R^1×1；

将经过squeeze-excitation操作得到的通道间权重向量与各通道对应相乘，输出为：

像素间注意力模块采用设计的多尺度上下文重加权网络实现，多尺度上下文重加权网络由采用膨胀卷积设计的三条不同感受野的卷积支路组成，末端采用1x1卷积对多感受野特征进行融合，设输入特征图X∈R^W×H×C，下采样特征图注意力模块输出设计的像素间注意力模块描述为：

式中：f_conv1×1表示1x1卷积，f_br1，f_br2，f_br3分别表示三个尺度特征提取分支的卷积操作，Expand表示复制扩展Y′维度与X′一致；

为避免由于多级注意力模块串联造成的特征信息弱化与损失，基于两类注意力模块对输入特征图的注意力加权特征图，采用concatenate进行对结果进行通道堆叠，并使用1x1卷积将两类结果进行整合，经L2 Normalize对输出层进行标准化，减少特征相对值在融合过程中的衰减现象。

4.根据权利要求3所述的一种基于注意力机制的多特征循环卷积显著性目标检测方法，其特征在于，在步骤三中，利用多特征循环卷积模块对粗显著图进行边缘细化；其中循环卷积可描述为：

式中：u_k^(i,j)为第k通道位于(i,j)的像素，分别表示前向输入与循环输入的权值；u_k^(i,j)表示前向输入，不随循环步长变化；z_k^(i,j)表示卷积输出；T表示循环次数；x^(i,j)(t-1)表示循环输入，即上一个循环单元输出；循环单元输出x_k^(i,j)(t)由z_k^(i,j)(t)变化而来，LRN表示局部响应归一化，N表示参与归一化的邻近通道数，α和β是用来调整标准化幅度，C表示总通道数；

设计多特征循环卷积模块，遵循Inception思想改造卷积循环单元，聚合多尺度感受野特征；同时添加外部循环机制，结合多卷积层特征，将解码器最后一层输出与编码器底层卷积特征作为输入，输出边缘效果更好的预测图；在原RCL基础上，添加外部循环机制，将上一轮MFRCM的输出值作为下一轮外部循环的输入值；由于采用concatenate操作结合输入图和特征图，输入图通道占比重较小，故采用Repeat方案扩充输入图通道。