[发明专利]基于协方差卷积神经网络的低对比度图像显著性检测方法

说明书

本发明涉及基于协方差卷积神经网络的低对比度图像显著性检测方法，包括步骤：以像素为单元提取训练集中的图像的低级视觉特征；以提取的低级视觉特征所组成的多维特征向量为基础构造区域协方差；以协方差矩阵为训练样本构造卷积神经网络模型；基于局部和全局对比度原则计算图像显著性。通过在现有的MSRA数据集，SOD数据集，CSSD数据集，DUT‑OMRON数据集，PASCAL‑S数据集和本发明的NI数据集上进行测试对比，得出本发明的方法提高了传统显著性检测的鲁棒性，能够高效的获得更加准确的显著图，尤其对于低对比度图像，能够很好的提取出显著性目标，为夜间安防监控、复杂环境目标定位等热点问题提供了很好的解决方案。

技术领域

本发明涉及一种基于协方差卷积神经网络的低对比度图像显著性检测方法，属于图像处理技术领域。

背景技术

为了使计算机能够像人类那样高效地处理图像，研究人员就借鉴人眼视觉系统的选择注意机制，提出了视觉显著性检测，主要任务是从图像数据中快速地定位能够吸引人眼视觉注意的感兴趣区域，从而可以极大提高计算机处理海量数字媒体信息的效率。图像的显著目标检测为解决计算机视觉领域中的难题提供了一种新思路并逐渐占据着重要的地位，通过显著性检测能够提取出人眼对图像场景的主要关注对象。作为一种预处理模块，可靠且快速的显著性检测为感兴趣目标的分割和提取、对象检测和识别、图像智能压缩等应用提供了有价值的参考信息。

随着对人类视觉系统感知机制认知的不断加深，研究人员提出了大量视觉注意力模型，并成功应用于视觉计算的各个研究领域，已经成为智能图像信号处理的研究热点。现有的这些视觉显著目标检测模型大多数仅适用于可见光环境，然而在现实生活中经常会遇到一些低对比度场景，比如受雨、雪、雾霾等天气干扰或者夜间光照条件很差的环境限制，这就给显著目标检测带来了极大的挑战。由于低对比度图像具有低信噪比及低对比度特性，这就导致特征的测度容易受到噪声干扰、场景背景变化、弱纹理模糊等诸多因素的影响，使得传统显著性模型检测结果的可靠性大幅度下降。

近年来，深度学习研究的深入使得以卷积神经网络为典型代表的网络模型因其强大的学习能力受到广泛的关注并成功应用于不同的视觉任务。卷积神经网络作为一种模拟人类大脑神经结构的模型，其能够完成类似人类感知性能的对象识别，也可视为一种高级显著线索应用于低对比度图像中显著对象的检测。

发明内容

显著对象检测模型通常可以分为两类：自底向上和自顶向下的方法。自底向上的显著对象检测模型是数据驱动的，主要基于低级视觉特征(例如颜色、对比度等)；而自顶向下的显著目标检测模型主要是任务驱动的，通常是基于认知视觉特征(例如人脸、人、汽车等)。本发明主要结合自底向上和自顶向下的方法进行显著目标的检测。首先提取了图像的28个低级视觉特征，并引入协方差描述符来融合这些特征，该操作不仅抑制了弱光图像中的噪声，而且还保留了显著对象中重要的结构信息。为了获得最佳的性能，通过卷积神经网络对采样图像块的协方差矩阵进行训练。本发明提出的基于区域协方差的卷积神经网络模型可以通过学习低对比度图像中的显著特征来估计图像的显著性。

发明概述：

该发明主要通过估计28个低级视觉特征(4个颜色特征、12个可操纵金字塔特征和12个Gabor滤波特征)的协方差来训练一个7层的CNN模型。在训练阶段，从训练低对比度图像中随机选取图像块，并将其协方差矩阵作为训练样本。在测试阶段，将输入图像划分为不同尺度的非重叠块，并通过预先训练的CNN模型估计其显著性。最后，利用多尺度图像块的中心-周边对比度来计算测试低对比度图像的显著性。通过利用基于协方差的CNN模型对每个图像块的显著性进行估计，能够形成一个包含有明显的显著物体的CNN特征图。然后利用局部和全局对比方法对预测的显著值进行优化，生成最终的显著图。

本发明的技术方案如下：

一种基于协方差卷积神经网络的低对比度图像显著性检测方法，包括步骤如下：

(1)以像素为单元提取图像的低级视觉特征；