[发明专利]一种RGB-D图像显著性检测方法

权利要求书

1.一种RGB-D图像显著性检测方法，其特征在于，包括如下步骤：

步骤1、建立一种多分支主干监督的网络结构对RGB-D图像进行显著性目标检测，将RGB图像和深度图像分别输入到舍去全连接层和池化层的Resnet50主干网络中，提取每层的RGB特征和深度特征；

步骤2、将各层的深度特征输入到每个层级相应的深度改进模块中，得到的深度改进特征与相应的RGB特征进行融合，经过串联、卷积、激活操作后得到各层的混合特征；

基于注意力机制引入的深度改进模块，增强深度特征的显著性表现能力，深度改进模块中引入视觉注意力机制中的通道注意力以及空间注意力，以从深度特征中获取高质量的信息：改进前的深度特征首先通过通道注意力模块，随后进入空间注意力模块，前者使用了平均池化操作更好地保留背景信息，后者使用了最大池化操作提取特征纹理，减少无用信息，两者相结合得到质量更高的深度特征；

步骤3、将混合特征从高层到底层两两组合，分别通过特征分组监督融合模块，得到各层显著图，其中，在每个特征分组监督融合模块中都加入上一层输出的显著图和真值图进行监督，最终经过迭代优化以第4层级输出的显著图作为最终结果显著图；

基于卷积神经网络引入的特征分层监督融合模块中引入特征增强模块对每组融合后并且受到上层结果和真值图监督的多模态融合特征进行提纯，特征增强模块包含四个平行分支和一个残差连接分支，经过提纯后的特征质量更高。

2.根据权利要求1所述的RGB-D图像显著性检测方法，其特征在于，所述步骤2中深度特征送入到每个层级相应的深度改进模块中得到深度改进特征f′_Dm的具体步骤如下：

1)深度改进模块包括通道注意力模块和空间注意力模块，首先将深度特征输入通道注意力模块中进行改进操作，过程定义如下：

其中，Ch(·)表示通道注意力操作；f_i表示输入的多尺度的深度特征；表示元素依次相乘操作；Per(·)为两层感知机；pool_ave(·)表示对深度特征进行平均池化操作；f_i′表示经过通道注意力操作后的输出特征；

2)将特征f_i′送入空间注意力模块再次进行改进操作，过程定义如下：

其中，Sp(·)表示空间注意力的操作，Conv(·)表示卷积操作；pool′_max(·)表示为对卷积特征通道的每一点的最大池化操作；f′_Dm表示经过空间注意力操作后的最终的深度改进特征。

3.根据权利要求1所述的RGB-D图像显著性检测方法，其特征在于，所述步骤2中深度改进特征f_D′_m与对应的RGB特征进行融合得到混合特征的具体步骤如下：

深度改进特征和RGB特征先串联，然后进行卷积操作将特征通道数缩小，从而形成混合特征，过程定义公式形式为：

F_m＝Re(Conv(f′_Dm⊙f_Rm)) (3)

其中，f′_Dm表示深度改进特征；f_Rm表示RGB特征；F_m表示混合特征；Re(·)表示激活函数Relu，对数值作归一化处理；Conv(·)表示卷积操作；⊙表示串联操作。