[发明专利]一种RGB-D显著性目标检测方法

权利要求书

1.一种RGB-D显著性目标检测方法，其特征在于，所述方法包括以下步骤：

通过单模态特征提取，分别获取RGB图和深度图的每一级的单模态显著性特征；

通过跨模态联合特征提取对每一级的RGB和深度单模态显著性特征进行选择，逐级捕获RGB图和深度图的互补特征，生成跨模态联合特征；

将跨模态联合特征和单模态显著性特征输入到显著性目标检测部分；

通过设计低值融合损失，实现RGB流和深度流检测结果的融合，并构建网络整体损失以实现网络的监督学习，输出最终的显著性结果；

其中，所述低值融合损失具体为：

其中，k表示像素的索引，和分别表示RGB流和深度流预测的显著性值，G_k表示真值，||·||₂为2范数，N为图像的像素个数；

其中，所述单模态特征提取基于VGG-16模型，包含五组卷积块，每组卷积块由相应的卷积层和池化层组成；

去掉第五组卷积块中最后一层池化层，并在后面加入了四个并行的空洞卷积捕获全局多感受野信息，四个空洞卷积输出的特征进行级联，组成第五组卷积块的输出；

所述跨模态联合特征提取具体为：

在单模态特征提取过程中，先对RGB和深度单模态显著性特征进行空间特征选择，然后结合形成跨模态联合特征表示；跨模态特征表示经过通道注意力模块重新加权，生成加权后的RGB-D特征；加权后的RGB-D特征分层级相继与RGB特征和深度特征进行结合，生成每一级的跨模态联合特征，为单模态的显著性检测提供有价值的互补信息；

所述显著性目标检测部分包括RGB和深度显著性目标检测，两部分采用相同的结构，

每一部分都设计了五个融合块为了整合单模态的多尺度特征和跨模态的联合特征，提高每流显著性目标检测的精度；

单模态的多尺度特征由两个卷积层和上采样层捕获，在每个融合块中，每级捕获的多尺度特征和联合特征通过通道级联和卷积进行整合，生成更新后的显著性特征。

2.根据权利要求1所述的一种RGB-D显著性目标检测方法，其特征在于，所述跨模态联合特征具体为：

其中，Up(·)表示利用双线性插值的上采样操作，即为跨模态联合特征提取模块的输出，为经过一个通道注意力模块产生加权后的RGB-D特征，为RGB特征，为深度特征，Conv(·)表示卷积操作。