[发明专利]一种基于深度图过滤器的显著性物体检测方法

说明书

本发明公开了一种基于深度图过滤器的显著性物体检测方法，属于图像处理技术领域。图像的深度图为显著性物体检测任务提供了有效的辅助信息，因此近些年许多基于RGB‑D的显著性物体检测方法被提出。但是，深度图质量的高低对预测结果的准确度有显著影响。本发明创新性地提出了一种基于深度图过滤器的显著性物体检测方法，通过深度图过滤器模块过滤低质量的深度图，抑制不良深度图所带来的干扰信息，进而使用特征学习模块提取更加有效的交叉模态特征。本发明在7个公开的数据集上采用了4个广泛使用的评测指标，实验结果表明本发明超越了当前所有最先进的RGB‑D显著性物体检测方法。

技术领域

本发明属于图像处理技术领域，特别涉及到一种基于深度图过滤器的显著性物体检测方法。

技术背景

如何拍摄漂亮的照片已成为手机制造商之间的竞争点之一。显著性物体检测(SOD)方法已被广泛用于自动添加大光圈和其他增强效果来拍摄人像。当前的显著性物体检测方法已经获得了巨大的成功，然而大多数方法是基于RGB图像上的显著性检测，忽略了在一些先进手机(如iPhone X，华为Mate 20和三星S10)上可以采集到的深度信息。

近些年，一些基于RGB-D的显著性物体检测模型被提出。早期，传统的模型很大程度上依赖手工提取的特性(如对比度和形状)。基于统计嵌入算法(如空间偏移和3D背景)、高斯差分、背景分类、支持向量机、图论、元胞自动机和马尔可夫模型的方法陆续被提出。此外，学者们还探索了通过各种方式将RGB和深度特征结合起来的方法，例如角密度，随机森林回归树和最小障碍距离等。

为了克服手工提取特征的有限表达能力，最近利用卷积神经网络提取RGB-D图像中显著性物体的方法开始流行。Shigematsu等人提出的BED方法和Qu等人提出的DF方法是将深度学习引入到RGB-D显著性物体检测任务上的两项开创性的工作。最近Huang等人利用改进的损失函数开发出了有效的端对端模型。为了解决训练数据的不足，Zhu等人提出了一个强大的先验模型，该模型具有用于SOD的引导深度增强模块。除此之外，Chen等人开发了一系列新颖的方法，如隐藏的结构转移,互补融合模块，注意力感知组件和空洞卷积。

以上的工作致力于通过各种策略融合深度信息，并没有考虑到深度图本身的质量和有效性。事实上，在现实环境里，由于景深传感器的精度不足、探测环境的干扰，深度估计算法的能力欠缺等因素的影响，深度图的质量是参差不齐的。目前的深度信息融合策略不加筛选地将质量参差不齐的深度图输入到算法中的做法是不合理的。

发明内容

本发明的目的是解决现有RGB-D显著性检测方法中不加区分地使用深度图所致的性能瓶颈问题，设计了一种基于深度图过滤器的显著性物体检测方法(D3Net),它由深度图过滤器模块和特征学习模块组成，分别执行深度图过滤，交叉模态特征学习任务。

本发明采用的技术方案是：

一种基于深度图过滤器的显著性物体检测方法，该方法通过深度图过滤器模块和特征学习模块完成，其中特征学习模块(Feature Learning Module)由一个RGB-D图像特征学习器和一个RGB图像特征学习器构成；所述的RGB和RGB-D图像特征学习器均由残差网络和金字塔空洞卷积构成；本发明方法包含如下步骤：

第1步、由深度图过滤器模块(DDU)判断深度图质量，过滤质量低于筛选阈值的深度图，保留质量高于筛选阈值的深度图。这里的筛选阈值由深度图过滤器模块通过学习得到，并不是一个固定的阈值；

第2步、经第1步的筛选，对于保留的质量较高的深度图，将深度图和对应的RGB图像通过RGB-D图像特征学习器提取交叉模态的特征；对于过滤掉的质量较差的深度图，则仅使用RGB图像特征学习器提取RGB图像的特征；

第3步、生成结果：将特征学习模块提取的特征回归为显著性物体图像(SaliencyMap)。

其中，第1步所述的深度图过滤器模块的具体操作为：