[发明专利]一种基于多层次融合的RGBD图像显著性检测方法及系统

说明书

本发明涉及一种基于多层次融合的RGBD图像显著性检测方法及系统，包括：步骤S1：进行数据增强，同时对彩色图像以及对应的深度图和人工标注图进行处理；步骤S2：设计多层次卷积神经网络结构，提取并融合深度图与彩色图像特征，融合多层次的特征，得到各个层次预测的显著性图S_k；步骤S3：设计一个融合优化模块,然后融合各个层次的显著性图S_k，得到最终的显著性图S_final；步骤S4：通过求解最小化损失函数，学习到RGBD图像显著性检测模型的最优参数，得到训练好的RGBD图像显著性检测模型；步骤S5：最后，将RGBD图像输入训练好的模型，计算得到输入图像的显著性检测结果，即显著性图。本发明解决了RGBD图像显著性检测边缘粗糙问题，能显著提升RGBD图像显著性检测的性能。

技术领域

本发明涉及图像处理以及计算机视觉领域，特别是一种基于多层次融合的RGBD图像显著性检测方法及系统。

背景技术

显著性目标检测在计算机视觉领域已经被广泛研究了几十年。它的目的是通过对输入图像中最重要或最突出的目标像素的精确分割来建模人类视觉系统的注意机制。它可以应用于很多领域，如目标识别，目标检测，分割，图像质量评估，视觉跟踪。随着最近深度学习技术的成功，显著性检测也得到了显著的提高。虽然对单个彩色图像的显著目标检测性能有所提高，但对背景杂乱的图像如何鲁棒地产生令人满意的结果仍然是一个挑战。因此，与标准RGB相机相比，利用额外的深度信息从RGBD相机中寻求补偿是合理的。因此，它们能够为确定突出目标的任务提供重要的补充。

在深度卷积神经网络(CNN)的背景下，提出了将彩色图像与深度图直接融合的方法。由于深度CNNs的能力，与基于RGB的基准相比，它们在几个公共基准上获得了明显的改进。

这些方法大致分成三类：一些方法直接将深度图当作额外的通道的输入单支流网络，另外是分别将彩色图和深度图输入双流网络再在后端融合，除此之外就是多层次融合彩色图特征和深度图特征。

但是，利用已有的方法从RGBD图像中检测突出目标时，还存在一些不足之处。特别指出，现有方法中颜色和深度融合的方式不是最优的，因此交叉模态融合过程中的冲突可能会降低性能。此外，从最先进的RGBD摄像机捕获的深度图仍然是有噪声的，特别是在物体的边界附近。

发明内容

有鉴于此，本发明的目的是提供一种基于多层次融合的RGBD图像显著性检测方法及系统，可以在一定程度上缓解上述问题，提高RGBD图像显著性检测的性能。

本发明采用以下方案实现：一种基于多层次融合的RGBD图像显著性检测方法及系统，包括以下步骤：

步骤S1：进行RGBD图像数据增强，同时对彩色图像以及对应的深度图和人工标注图进行处理，增加训练数据的多样性；

步骤S2：设计多层次卷积神经网络结构，提取并融合深度图与彩色图像特征，融合多层次的特征，得到各个层次预测的显著性图S_k；

步骤S3：设计一个融合优化模块，然后融合各个层次的显著性图S_k，得到最终的显著性图S_final；

步骤S4：通过求解最小化损失函数，学习到RGBD图像显著性检测模型的最优参数，得到训练好的RGBD图像显著性检测模型；

步骤S5：最后，将RGBD图像输入训练好的RGBD图像显著性检测模型，通过模型计算得到输入图像的显著性检测结果，即显著性图。

进一步地，所述步骤S1的具体内容为：

步骤S11：提供一数据集，并对数据集中的每一张RGBD图像中的彩色图像、深度图和其对应的显著性图的人工标注图一同进行缩放，用以使计算设备能够承担神经网络的计算量；