[发明专利]一种基于交互式引导注意力和梯形金字塔融合的RGB-D显著性目标检测方法

说明书

本发明属于计算机视觉领域，提供了一种基于交互式引导注意力和梯形金字塔融合的RGB‑D显著性目标检测方法，包括以下步骤：1)获取训练和测试该任务的RGB‑D数据集，并定义本发明的算法目标；2)构建用于提取RGB图像特征RGB编码器和深度(Depth)图像特征Depth编码器；3)建立跨模态特点融合网络，通过交互式引导的注意力机制指导RGB图像特征和Depth图像特征进行交叉融合；4)构建超大规模的感受野融合机制，以增强多模态特征的高级语义信息；5)建立梯形金字塔特征融合网络为基础的解码器以生成显著图P_est；6)预测的显著图P_est与人工标注的显著目标分割图P_GT计算损失；7)对测试数据集进行测试，生成显著图P_test，并使用评价指标进行性能评估。

技术领域：

本发明涉及计算机视觉和图像处理领域，特别地涉及一种基于交互式 引导注意力和梯形金字塔融合的RGB-D显著性目标检测方法。

背景技术：

显著性目标检测旨在通过模拟人类视觉注意机制从给定的数据(如RGB图片、RGB-D图片、视频等)中，定位出最引人注目的目标或者区域。而最近几年，显著性目标检测由于其广泛的应用得到了快速发展，在许多计算机视觉领域得到显著应用，比如图像检索，视频分割，语义分割，视频跟踪，人物重建，缩略图创建和质量评估等等。

由于单一的模态的RGB显著性目标检测算法在面对一些具有挑战性的场景(例如，复杂背景、显著目标与背景高度相似、低对比度场景等等)下，难以准确和完整地从背景中定位出显著目标。因此，为了解决这个问题，将深度(Depth)图像引入到显著性目标检测，通过联合RGB图像和Depth图像相结合构成了RGB-D进行显著性目标检测。

由于Depth Map能够提供许多有用的信息，诸如比如空间结构， 3D分布，目标边缘等信息。将Depth图引入到SOD任务中，能够帮助SOD模型处理诸如复杂背景、低对比度、显著目标与背景外形相似等具有挑战性的场景。因此，如何利用Depth Map辅助 RGB-D显著性目标检测模型精确定位显著目标至关重要。此前的 RGB-D显著性目标检测方法大多将DepthMap作为独立于RGB图像的数据流，单独提取特征，或者将Depth图像作为RGB图像的第四个通道输入进RGB-D显著性检测模型，该类方法无差别地对待RGB图像和Depth图像，忽略了一个事实：RGB图像和Depth图像中，不同区域所携带的显著信息是有着巨大的差异，并且RGB图像和Depth图像对显著目标的信息的表示方面也存在着差异。

考虑到RGB图像数据和Depth图像数据之间存在跨模态数据的二义性问题，本发明尝试探索一种发高效的跨模态特征融合方法，并利用跨模态融合方法有效消除跨模态数据之间的二义性问题。此外，为了进一步探索多尺度特征之间的联系和协作机制，利用多尺度的特征信息有效的提升模型检测的性能，并且可以兼顾高级语义信息和低级的细节信息，从到可以达到感知显著性目标的边缘细节和整体完整性。本发明通过进一步挖掘特征金字塔在多尺度特征融合方面的作用，帮助显著性检测模型更加准确地预测出显著目标。

发明内容:

针对以上提出的问题，本发明提供一种基于交互式引导注意力和梯形金字塔融合的RGB-D显著性目标检测方法，具体采用的技术方案如下：

1.获取训练和测试该任务的RGB-D数据集。

1.1)将NJUD数据集、NLPR数据集和DUT-RGBD数据集作为训练集，将剩余部分的NLPR数据集、剩余的DUT-RGBD数据集、 SIP数据集、STERE数据集和SSD数据集作为测试集。

1.2)RGB-D图像数据集，包括单幅RGB图像P_RGB、对应的Depth 图像P_Depth和对应的人工标注的显著目标分割图像P_GT。

2.利用卷积神经网络构建用于提取RGB图像特征和Depth图像特征的显著性目标检测模型网络；