[发明专利]一种基于跨模态双向互补网络的RGB-D显著性目标检测方法

权利要求书

1.一种基于跨模态双向互补网络的RGB-D显著性目标检测方法，其特征在于，包括用于训练和测试的图像样本的采集和整理，双流解码器的构建，跨模态特征双向互补充机制，跨模态特征整合模块以及深层特征指导的解码器。

2.根据权利要求1所述一种基于跨模态双向互补网络的RGB-D显著性目标检测方法，其特征在于所使用的数据包括DUT-RGB数据集，NJU2K数据集，NLPR数据集，LFSD数据集，RGBD135数据集，单个样本分为RGB图像P_RGB，深度图像P_depth，和人工标注的显著目标分割图像P_GT。训练集是由DUT数据集中的800样本，NJU2K数据集中的1400样本和NLPR数据集中的650样本构成的2985个样本集，剩余样本作为测试集。

3.根据权利要求1所述一种基于跨模态双向互补网络的RGB-D显著性目标检测方法，其特征在于双流解码器使用VGG作为主干网络用于提取RGB和depth特征。其中VGG16网络最后的池化层和全连接层被移除，剩余的5个卷积层被保留，使用ImageNet数据集上预训练的VGG16参数权重初始化本发明的用于构建主干网络的VGG16权重。将提取到的RGB和depth特征分别记为和

4.根据权利要求3所述一种基于跨模态双向互补网络的RGB-D显著性目标检测方法，其特征在于所述的跨模态特征双向互补充机制由两部分组成：depth引导互补增强模块和RGB感知互补增强模块。

4.1)depth引导互补增强模块利用depth特征去补充RGB特征，通过depth所包含的空间分布和边缘信息去增强RGB特征。

4.1.1)首先，利用空间注意力和通道注意力分别生成空间权重和通道权重。其次，通过并行的方式将空间权重和通道权重结合生成一个增强权重：

其中，i∈{1，2，3，4，5}表示编码器的第i层，和分别表示第i层的depth引导互补增强模块中的空间权重和通道权重，表示增强权重，Cohv_s和Cohv_t分别表示用于压缩通道和转换通道的1×1卷积操作，GAP表示全局平均池化操作,Sigmoid表示sigmoid激活函数。

4.1.2)基于步骤3.1.1所生成的增强权重，利用该权重结合跨模态特征，在经过一个残差连接操作，得到强化之后的RGB特征：

其中，表示经过depth引导互补增强模块之后强化的RGB特征。

4.2)基于步骤3.1所得到的强化后的RGB特征反过来用于增强depth特征，并设计一个RGB感知互补增强模块，利用被跨模态特征增强的RGB特征反过来用于强化depth特征。

4.2.1)利用通道注意力从空间对跨模态的特征进行过滤和强化：

其中，表示第i层的RGB感知互补增强模块中的通道权重，表示经过通道注意力强化后的跨模态特征。

4.2.2)利用与通道注意力机制串行的空间注意力机制进一步强化跨模态特征：

其中，表示第i层的RGB感知互补增强模块中的空间权重，表示经过通道注意力强化后的跨模态特征。

4.2.3)基于上述步骤3.2.1和步骤3.2.2所获得到的跨模态特征，使用残差连接加上原始的depth特征得到强化后的depth特征：

其中，表示经过RGB感知互补增强模块强化后的depth特征。