[发明专利]一种基于多模态差异性融合网络的RGB-D显著性目标检测方法

权利要求书

1.一种基于多模态差异性融合网络的RGB-D显著性目标检测方法，其特征在于，包括基于Swin Transformer双流解码器的构建，跨模态的三流差异性监督机制，跨模态特征差异性融合模块以及级联聚合解码器。

2.根据权利要求1所述一种基于多模态差异性融合网络的RGB-D显著性目标检测方法，其特征在于本发明利用深度学习中的Swin Transformer网络作为本发明的主干网络用于提取RGB和Depth特征。

2.1分别构建两个基于Swin Transformer的编码器提取RGB特征和Depth特征，其中，Swin Transformer编码器由四个基本的Swin Transformer block组成，其定义如下所示：

S＝MLP(LN(W_m(LN(F_f))+F_f))+W_m(LN(F_f))+F_f 公式(1)

ST＝MLP(LN(W_s(LN(S))+S))+W_s(LN(S))+S 公式(2)

其中，MLP表示多层感知机，LN表示层次化归一，W_m代表多头自注意力机制，W_s表示基于转换窗口自注意力机制。

2.2基于步骤2.1，可以得到RGB和Depth编码器的输出，分别记作，RGB特征和Depth特征

3.根据权利要求1所述一种基于多模态差异性融合网络的RGB-D显著性目标检测方法，其特征在于，本发明设计一个跨模态双向融合模块(Bi-directional Fusion Module，BFM)用于初步融合跨模态的特征，为下一阶段的三流差异性监督机制做好准备。

3.1首先，使用一个3×3卷积操作用于增强感受野信息，然后利用交叉相乘方式得到两个跨模态的特征，分别用于增强RGB和Depth特征，定义如下：

其中，α∈{r，d}，i∈{1，2，3，4}表示特征在编码器中所处的层次，Sigmoid表示sigmoid激活函数。由此，经过增强后的RGB特征和Depth特征能够被生成。

3.2将步骤3.1所生成的增强RGB特征和Depth特征通过连接操作进行融合，该操作如下所述：

其中，cat表示连接操作，BCov表示卷积操作和批量归一化(Batch Normal。

4.根据权利要求1所述一种基于多模态差异性融合网络的RGB-D显著性目标检测方法，其特征在于本发明所提出的三流差异性监督机制用于实现多模态之间的差异性融合。具体可以表示为，三个分支，分别表示为RGB分支，Depth分支，以及Fusion分支。

4.1基于步骤2中的Swin Transformer所生成的RGB特征构建三流差异性监督机制中的RGB分支，并采用本发明提出的级联聚合解码器预测显著性图。在RGB特征输入到CAD之前，本发明利用ASPP技术强化RGB特征的感受野，增强RGB特征的全局信息。并使用显著目标分割图S_GT进行监督学习。RGB分支的操作描述如下所示：

其中，CAD表示级联聚合解码器，A表示ASPP技术，表示RGB分支预测出的显著性图。

4.2基于步骤2中的Swin Transformer所生成的Depth特征构建三流差异性监督机制中的Depth分支，并采用本发明提出的级联聚合解码器预测显著性图。在Depth特征输入到级联聚合解码器之前，本发明利用ASPP技术强化Depth特征的感受野，增强Depth特征的全局信息。并使用显著目标分割图S_GT进行监督学习。Depth分支的操作描述如下所示：

其中，CAD表示级联聚合解码器，A表示ASPP技术，表示RGB分支预测出的显著性图。

4.3基于步骤3所生成的跨模态融合特征使用获取到的四个融合特征，构建Fusion分支，并使用显著目标边缘分割图像进行监督学习。利用级联聚合解码器整合四个尺度特征，预测显著目标边缘图。Fusion分支定义如下：