[发明专利]一种跨维度交互式显著检测模型及其检测方法

权利要求书

1.一种跨维度交互式显著检测模型，其特征在于，包括依次连接的基础特征提取模块、有效特征提取模块和聚合模块；

所述基础特征提取模块，用于对原始图像的纹理、空间、颜色等特征信息进行提取；

所述有效特征提取模块，用于对基础特征关注更多有效区域的特征，同时抑制背景噪声的干扰；

所述聚合模块，用于对基础特征、高级特征和全局上下文特征进行融合，生成显著预测图。

2.根据权利要求1所述的一种跨维度交互式显著检测模型，其特征在于，所述基础特征提取模块由多个多尺度特征提取单元组成，

所述多尺度特征提取单元包含3到5个结构相同的Bottleneck，每个Bottleneck均采用1×1、3×3、1×1的卷积核组成；输入的特征通过多尺度特征提取单元的第一个Bottleneck结构，通过1×1的卷积对输入的特征进行降维，做一次3×3卷积操作，最后通过1×1卷积恢复维度，在卷积处理完后需要进行归一化和激活操作；后面的Bottleneck与第一个Bottleneck操作相似，第一个Bottleneck进一步下采样操作；最后输出的特征图作为下一个多尺度特征提取单元的输入。

3.根据权利1所述的一种跨维度交互式显著检测模型，其特征在于，所述有效特征提取模块包括CL模块、SR模块和CF模块；

所述CL模块，用于对基础特征进行空间和通道之间跨维度交互，生成权重反作用基础特征，对基础特征背景噪声进行抑制，关注、保留更多有效区域信息，作为SR模块的输入；

所述SR模块，用于对CL模块处理后的特征进行增强、细化处理；

所述CF模块，用于对基础特征的显著区域进行增强响应，作用于网络的全局上下文信息。

4.根据权力3所述的一种跨维度交互式显著检测模型，其特征在于，所述CL模块由三个分支平行连接，最终通过平均运算对三个分支特征进行融合；其中，第一分支以空间H为轴，进行空间W和通道C维度交换：输入特征以空间H为轴，逆时针旋转90°，接着由Z-Pool里的平均聚合和最大聚合算法进行处理，生成的特征图进行拼接，然后通过Sigmoid函数激活，生成反码和偏置，通过加法和乘法用于旋转特征，最后再以空间H为轴，顺时针旋转90°，输出第一分支特征图；第二、第三分支操作与第一分支区别在于：第二之分支以空间W为轴旋转，第三分支不需要旋转，其他操作过程都和第一分支相同；得到的三个分支特征通过平均算法进行融合；

所述SR模块，用于对CL模块的输出进行增强、细化操作；再通过卷积核为3×3的卷积，上采样操作后，作为聚合模块的输入；

所述CF模块，主要有两个平行分支构建，其中第一分支通过卷积核为3×3，通道为256的卷积对基础特征进行处理；第二分支通过卷积核为3×3，通道为512的卷积对基础特征进行处理，然后生成偏置和掩码，通过乘法和加法操作与第一分支特征进行融合，作为聚合模块的输入，为整个网络提供用于获取全局上下文信息。

5.根据权利1所述的一种跨维度交互式显著检测模型，其特征在于，所述聚合模块将基础特征Out_t(t＝2,3,4)、高级特征和全局上下纹特征F₂进行三分支处理，然后将处理后的特征通过拼接融合；

所述拼接融合过程为：将Out_t、F₂通过卷积核为3×3，通道为256，步长为1的操作进行压缩处理后，将所有特征通道统一为256，卷积后经过归一化和激活处理得到对于第一分支，首先通过卷积核为3×3，通道为256，步长为1进行处理，然后与进行乘积得到对于第二分支，首先通过卷积核为3×3，通道为256，步长为1进行处理，然后与上采样后的进行乘积得到对于第三分支，通过卷积核为3×3，通道为256，步长为1进行处理，然后与进行乘积得到最后通过Concat将进行拼接融合，通过卷积核为3×3的卷积层输出显著预测图。