[发明专利]一种基于多模态差异性融合网络的RGB-D显著性目标检测方法

说明书

本发明提供一种基于多模态差异性融合网络的RGB‑D显著性目标检测方法，属于图像显著性检测技术，所述方法利用Swin Transformer提取包含全局上下文信息的RGB和Depth特征，用于给出场景的显著性目标推理。本发明主要通过探索RGB和Depth模态之间的差异性分析显著性在这两个模态的联系和区别，并设计一个差异性融合网络融合跨模态特征用于捕获完整的显著目标。本发明包括以下几个步骤：(1)采用Swin Transformer提取跨模态特征；(2)使用双向融合方式融合RGB和Depth特征生成Fusion流；(3)使用三流差异性监督机制获取模态之间差异性；(4)利用该差异性融合跨模态特征；(5)使用目级联聚合解码器对融合的跨模态特征进行显著性的推理和解码，生成预测的显著性图。

技术领域：

本发明涉及计算机视觉和图像处理领域，特别地涉及一种基于多模态差异性融合网络的RGB-D显著性目标检测方法。

背景技术：

随着信息技术的发展和进步，以及日常生活中的多媒体数据量(图片、文本、音频、视频等)的爆炸式增长，促进了图像处理技术的蓬勃发展。显著性目标检测技术作为图像处理领域的一个非常重要的技术，主要分析图像中的最引人注意的目标或者区域，并自动将显著目标从背景中分离。作为最基础的密度预测任务之一，其被广泛应用在许多其他的下有任务，例如图像检索、语义分割、视觉跟踪、基于内容的图像编辑和机器人导航等。此外，显著性目标检测也被广泛应用在许多社交媒体的分析和采集过程中，例如手机拍照技术中的强调人像，背景虚化等技术应用。

早期的显著性目标检测方法大多是针对RGB图像，并且能够取得令人满意的结果。通常，现实的RGB场景更多是包含一些具有挑战性的场景，比如低对比度，多目标，透明物体，复杂背景等，面对这些挑战性场景，基于RGB显著性目标检测很难准确有效地检测出显著目标并完整地分割出来。面对这一问题，深度图像(Depth map)被使用到显著性检测领域。通过利用Depth map中的空间信息和3D布局等信息去提供补充线索，从而帮助显著性目标检测方法有效地处理这些挑战性场景，这种技术被称为RGB-D显著性目标检测。

随着深度采集设备(比如Microsoft Kinect，Huawei Mate 30，iPhone XR等)的普及，深度信息能够使用较低的代价获取。这种现象也加速了RGB-D显著性检测的蓬勃发展。目前，大多数的RGB-D显著性目标检测方法通过整合RGB特征和Depth特征获取增益信息去提升显著性检测的性能。但是，这些方法大多是利用无差别地融合方式去整合RGB特征和Depth特征，这种做法将RGB信息和Depth信息视为同等地位。但是，人类视觉机制是作用于RGB场景中，那么很显然是RGB所起到的作用和Depth map是有差别的。

针对上述所提出的问题，本发明设计一种基于多模态差异性融合网络的RGB-D显著性目标检测方法，利用RGB模态和Depth模态之间的差异性分析给出场景的显著性目标。利用这种模态之间的差异性分别优化RGB流和Depth流的显著性推理过程，最后，通过融合RGB和Depth模态之间的差异性，得出最终的显著性结果。具体地，本发明设计一个三流的差异性监督机制，通过RGB流，Depth流和融合流分别进行显著性和边缘的推理，并通过整合这些推理结果实施跨模态的差异性融合。

发明内容:

针对以上提出的问题，本发明提供一种基于多模态差异性融合网络的RGB-D显著性目标检测方法，具体采用的技术方案如下：

1.获取并整理用于训练和测试的RGB-D数据集。

1.1)对获取到的RGB-D数据集(DUT-RGB数据集，NJU2K数据集，NLPR数据集，LFSD数据集，RGBD135数据集)进行归纳整理，并将单个样本分为RGB图像P_RGB，深度图像P_depth，人工标注的显著目标分割图像S_GT和人工标注的显著目标边缘分割图像E_GT。