[发明专利]一种RGB-D图像显著性目标检测方法

说明书

本发明属于图像目标检测技术领域，涉及一种RGB‑D图像显著性目标检测方法，包括：将深度图和RGB图像分别输入深度模态编码器和RGB图像编码器；深度模态编码器提供深度模态，RGB图像编码器提供RGB模态；在低层级特征编码阶段，RGB诱导细节增强模块通过将RGB模态的细节补充信息从RGB模态传输到深度模态，实现深度特征增强；在高层级特征编码阶段，深度诱导语义增强模块进行跨模态特征融合；通过密集解码重建结构生成预测的显著性图像。本发明提出一种新跨模态交互模式和跨模态差异交互网络，模拟两种模态的依赖性，并设计组件实现差异化跨模态引导，提出DDR结构，利用多个高层级特征更新跳连接生成语义块。

技术领域

本发明属于图像目标检测技术领域，涉及一种RGB-D图像显著性目标检测方法。

背景技术

受人类视觉注意机制的启发，显著对象检测任务旨在检测给定场景中最有吸引力的对象或区域，该方法已成功广泛应用于目标检测、图像编辑和视频浓缩等研究领域，以及智能拍照、推荐系统和自动驾驶等工程领域，具有重要的研究价值和广阔的市场前景。事实上，除了颜色外观、纹理细节和物理尺寸，人们还可以感知景深，从而通过双目视觉系统产生立体感知。近年来，得益于微软Kinect等消费级深度相机的快速发展，可以方便地获取深度图来描绘场景。与提供丰富颜色和纹理信息的RGB图像相比，深度图可以表现出几何结构、内部一致性和光照不变性。借助深度图，显著对象检测模型可以更好地应对一些具有挑战性的场景，例如低对比度和复杂背景。因此，近几年来，RGB-D图像显著目标检测的研究受到了广泛关注。众所周知，RGB图像和深度图属于不同的模态，因此需要一些复杂的设计，以便更好地利用两者的优点实现RGB-D图像显著性目标检测。Fu等^[1]引入了用于联合学习的siamese网络，并设计了一种密集合作融合策略以发现互补特征。Pang等^[2]通过密集连接结构整合跨模态特征，并利用融合特征建立分层动态过滤网络。Huang等^[3]提出了一个跨模态细化模块以集成跨模态特征，主要设计了一个多级融合模块来按照自下而上的路径融合每个级别的特征。Piao等^[4]提出了一种深度蒸馏器以将深度知识从深度流传输到RGB分支。Liu等^[5]设计了一个残差融合模块，在解码阶段将深度解码特征整合到RGB分支中。Chen等^[6]考虑到深度图包含的信息比RGB图像少得多，并提出了一个轻量级网络以提取深度流特征。

在目前的现有技术中，至少存在以下缺点和不足：

(1)对于特征编码中的跨模态交互，现有方法要么不加区别地对待RGB和深度模态，要么只是习惯性地利用深度线索作为RGB分支的辅助信息，而跨模态数据的不一致问题会降低学习得到的特征的判别力；(2)为了突出和恢复特征解码中的空间域信息，现有的方法通过跳连接引入编码特征。然而，它们只是通过直接相加或串联操作来引入相应编码层的信息，并没有充分利用不同层的编码特征。

本发明重新考虑了两种模态的状态，并为RGB-D显著性目标检测提出了一种新的跨模态差异交互网络(CDINet)，它根据不同层的特征表示对两种模态的依赖性进行了差异建模。为此，本发明设计了两个组件来实现有效的跨模态交互：1)RGB诱导细节增强(RDE)模块利用RGB模态来增强低层级特征编码阶段的深度特征的细节。2)深度诱导语义增强(DSE)模块将深度特征的对象定位和内部一致性传输到高层级特征编码阶段的RGB分支。此外，还设计了密集解码重建(DDR)结构，通过结合多层级编码特征来构造语义块，以更新特征解码中的跳连接。

关键术语定义列表

1、RGB-D图像：是包含彩色和深度两种模态信息的图像。

2、RGB-D图像显著性检测：是在RGB-D图像数据中检测出最受关注的目标或区域。

发明内容