[发明专利]一种RGB-D图像显著性目标检测方法

权利要求书

1.一种RGB-D图像显著性目标检测方法，其特征在于，

所述RGB-D图像显著性目标检测方法基于跨模态差异交互网络；

所述跨模态差异交互网络遵循编码器-解码器架构，实现跨模态信息的差异交互和引导；

所述跨模态差异交互网络包括：RGB图像编码器、深度模态编码器、RGB诱导细节增强模块、深度诱导语义增强模块和密集解码重建结构；

所述RGB图像编码器和深度模态编码器均采用VGG主干网络；

所述VGG主干网络的前两层为：低层级特征编码阶段；

所述VGG主干网络的后三层为：高层级特征编码阶段；

所述RGB-D图像显著性目标检测方法包括以下步骤：

S1、将深度图输入深度模态编码器，将RGB图像输入RGB图像编码器；

S2、所述深度模态编码器提供深度模态，所述RGB图像编码器提供RGB模态；

S3、在低层级特征编码阶段，所述RGB诱导细节增强模块通过将RGB模态的细节补充信息从RGB模态传输到深度模态，以增强和补充深度模态，实现深度特征增强；

S4、在高层级特征编码阶段，所述深度诱导语义增强模块采用注意力级别和特征级别两种交互模式全面进行跨模态特征融合，实现RGB特征增强；

S5、在解码阶段，密集解码重建结构通过结合多层级的编码特征构造语义块，以更新特征解码中的跳连接信息，进行密集解码，进而生成预测的显著性图像。

2.如权利要求1所述的RGB-D图像显著性目标检测方法，其特征在于：所述VGG主干网络为卷积神经网络VGG16。

3.如权利要求2所述的RGB-D图像显著性目标检测方法，其特征在于：步骤S3的具体步骤如下：

S3.1、采用两个级联卷积层融合RGB模态和深度模态的低层级编码特征，生成融合特征池f_pool，如式(1)所示，

其中，i为：低层级编码特征的层级，且i∈{1，2}；表示：深度模态的低层级编码特征，表示：RGB模态的低层级RGB特征；表示：对和进行通道连接操作；表示：采用卷积核为1×1的卷积层，对进行卷积操作；表示：采用卷积核为3×3的卷积层，对进行卷积操作；深度图经过卷积神经网络VGG16的第一层操作得到RGB图像通过卷积神经网络VGG16的第一层操作得到

S3.2、由获得特征如式(2)所示，

其中，表示：对沿通道维度进行最大池化操作，表示：采用卷积核为7×7的卷积层，对进行卷积操作；表示：采用卷积核为7×7的卷积层，对进行卷积操作；表示：对进行sigmoid函数操作；表示：将和进行逐元素相乘；

经过卷积神经网络VGG16的第二层操作得到同时，通过卷积神经网络VGG16的第二层操作得到进而利用公式(1)和(2)得到特征