[发明专利]一种RGB-D显著性目标检测方法

说明书

本发明公开了一种RGB‑D显著性目标检测方法，所述方法包括以下步骤：通过单模态特征提取，分别获取RGB图和深度图的每一级的单模态显著性特征；通过跨模态联合特征提取对每一级的RGB和深度单模态显著性特征进行选择，逐级捕获RGB图和深度图的互补特征，生成跨模态联合特征；将跨模态联合特征和单模态显著性特征输入到显著性目标检测部分；通过设计低值融合损失和网络整体损失，实现RGB流和深度流检测结果的融合和网络的监督学习，输出最终的显著性检测结果。本发明通过跨模态联合特征提取捕获有价值的跨模态联合特征，并通过设计的低值融合损失使网络关注显著性图的低值显著性区域，提高显著性值的下界。

技术领域

本发明涉及图像处理、立体视觉技术领域，尤其涉及一种RGB-D显著性目标检测方法。

背景技术

在面对复杂的自然场景时，人类视觉系统具有快速搜索并定位感兴趣区域和目标的能力。通过将视觉注意力机制引入到计算机视觉中，可以优化计算资源，使视觉信息的处理更符合人眼视觉特征。显著性目标检测旨在自动识别不同场景中的显著性区域，已广泛地应用于分割、重定向、检索、编码、分类等任务。近年来，图像显著性目标检测取得了令人瞩目的进展。实际上，人类视觉系统还具有感知场景中深度信息的能力，深度信息可以作为彩色图的互补信息，应用到显著性目标检测任务中。随着相机设备的快速发展，深度图的获取变得越来越便捷，促进了RGB-D显著性目标检测的研究。

传统的RGB-D显著性目标检测的方法将深度信息作为彩色信息的补充，通过设计手工特征来捕获信息。Peng等人将RGB-D图像对作为四通道的输入，送入多阶段显著性推理模型。Song等人结合四通道的数据和传统技术计算多尺度的显著性值。Liang等人利用对比度和深度背景先验知识，提出了立体显著性检测模型。然而，这些算法受限于无法有效地捕获图像的高级语义特征，并且直接将不同模态的特征进行整合，可能会造成特征不匹配或带来冗余信息。

最近，基于卷积神经网络(Convolutional Neural Network,CNN)的方法成为RGB-D显著性检测任务的主流。与传统的方法相比，基于CNN的方法能够提取并融合高级语义特征和低级纹理特征。大多数基于CNN的方法采用两流架构，以自底向上的方式分别提取RGB和深度特征，然后集成到后处理步骤中进行融合。Han等人提出了一个双流网络来提取RGB和深度特征，然后利用全连接层整合这些特征预测最终的显著性图。Ding等人利用两个不同的CNN来分别预测RGB流和深度流的显著性图，并在显著性融合网络中进行融合。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

首先，现有技术大多利用两个独立的显著性检测模型来提取单模态的特征，这种方式忽略了RGB特征和深度特征之间的互补性。因此，如何在特征提取的过程中逐步结合跨模态特征仍需要进一步探索。其次，在后期融合策略中，现有技术大多通过像素级相加或相乘的方式，融合RGB流和深度流的显著性预测，这种简单的融合方式没有充分利用两流的预测，无法有效地突出完整的显著性目标、抑制背景区域。

发明内容

本发明提供了一种RGB-D显著性目标检测方法，通过跨模态联合特征提取捕获有价值的跨模态联合特征，并通过设计的低值融合损失使网络关注显著性图的低值显著性区域，提高显著性值的下界，详见下文描述：

一种RGB-D显著性目标检测方法，所述方法包括以下步骤：

通过单模态特征提取，分别获取RGB图和深度图的每一级的单模态显著性特征；

通过跨模态联合特征提取对每一级的RGB和深度单模态显著性特征进行选择，逐级捕获RGB图和深度图的互补特征，生成跨模态联合特征；

将跨模态联合特征和单模态显著性特征输入到显著性目标检测部分；

通过设计低值融合损失和网络整体损失，实现RGB流和深度流检测结果的融合和网络的监督学习，输出最终的显著性检测结果。