[发明专利]一种RGB-D图像显著性检测方法

说明书

本发明涉及一种RGB‑D图像显著性检测方法，包括如下步骤：1.RGB图像和深度图像分别输入到舍去全连接层和池化层的Resnet50主干网络中，提取每层的RGB特征和深度特征；2.各层深度特征输入到相应的深度改进模块中，得到的深度改进特征与RGB特征经过卷积、激活等融合操作后形成各层的混合特征；3.混合特征从高层到底层两两组合，分别通过特征分组监督融合模块，得到各层显著图，其中，在每个特征分组监督融合模块中都加入上一层输出的显著图和真值图进行监督，最终经过迭代优化以第4层级输出的显著图作为最终结果显著图。本发明有效抑制了低质量深度特征的噪声干扰，对特征进行了高质量的充分融合，能够生成完整准确的显著图，具有较好的检测性能。

技术领域：

本发明涉及计算机视觉领域，尤其涉及一种RGB-D图像显著性检测方法。

背景技术：

显著性目标检测技术的关键是提取目标场景中最吸引人的重要区域，近年来，许多人在计算机视觉领域探索了显著性目标检测技术，将该项技术应用于语义分割，目标识别,图像压缩和图像分割等领域。在过去几年里，已经提出了各种基于RGB-D图像的显著性目标检测模型，这些模型都取得了良好的性能。

RGB-D图像中RGB图像与深度图像是成对出现的，RGB图像提供详细的颜色纹理信息，深度图像则提供目标区域的形状，位置等众多空间信息。过去的方法中，深度图像常作为第四通道输入，与处理RGB图像的一样的方式对深度图像进行特征提取操作，忽视了深度图在复杂场景中有效区分目标与背景的作用。在最近的几个先进算法中，已经开始逐渐重视深度图所携带的空间信息。Fan等人将深度图像视为彩色图像的特殊情况，并使用共享的CNN进行RGB和深度特征提取；Chen等人使用面向显著性的深度感知模块来评估深度图的潜力并减少污染的影响。

当从RGB图像和深度图像中捕获到高质量的多尺度特征时，如何将其有效融合以获得高水平的显著图也是当前探索显著性检测技术的热点问题。Zhao等人提出了一种流体金字塔积分模块来以分层的方式有效地融合跨模态信息；Chen等人引入了通道式注意机制实现选择性的跨模态跨层次特征融合。

发明人在实现本发明的过程中，发现现有技术至少存在以下缺点和不足：(1)由于采集设备的限制，数据集中会出现边缘模糊或遭受噪声干扰的低质量深度图像，低质量深度图像的引入降低了检测性能；(2) 将含有噪声的特征向下传递，无法充分获取并融合有用特征，有用特征被丢失浪费，从而影响了结果质量。

发明内容：

针对以上问题，本发明提供了一种RGB-D图像显著性检测方法，旨在减少低质量深度图的影响，有效获取深度图像的特征，并尽可能全面充分融合各级有用特征，获得更好的检测性能。

本发明具体采用的技术方案如下：

一种RGB-D图像显著性检测方法，包括如下步骤：

步骤1、将RGB图像和深度图像分别输入到舍去全连接层和池化层的Resnet50主干网络中，提取每层的RGB特征和深度特征；

步骤2、将各层的深度特征输入到每个层级相应的深度改进模块中，得到的深度改进特征与相应的RGB 特征进行融合，经过卷积、激活等操作后得到各层的混合特征；

步骤3、将混合特征从高层到底层两两组合，分别通过特征分组监督融合模块，得到各层显著图，其中，在每个特征分组监督融合模块中都加入上一层输出的显著图和真值图进行监督，最终经过迭代优化以第4层级输出的显著图作为最终结果显著图。

在上述方案的步骤2中深度特征送入到每个层级相应的深度改进模块中得到深度改进特征的具体步骤如下：

1)深度改进模块包括通道注意力模块和空间注意力模块，首先将深度特征输入通道注意力模块中进行改进操作，过程定义如下：