[发明专利]一种基于Gram矩阵和F范数的图像特征检测方法

说明书

本发明公开了一种基于Gram矩阵和F范数的图像特征检测方法，属于图像显著性目标检测技术领域。本发明的图像特征检测方法首先去掉VGG‑16网络最后一层的池化层和全联接层，提取图像在多个尺度下丰富的多层次特征张量，并利用Gram矩阵和F范数对多尺度下的图像进行权重判定，求得特征张量在不同尺度不同卷积层的权重，最后利用各尺度下的权重对图像进行加权融合得到最终的特征图像。实验结果表明，该方法有效地融合了多级卷积特性。融合后的特征互补、鲁棒，可用于检测各种场景中的显著物体。本发明的检测模型在复杂场景下效果较好，与前人的方法相比，显著图像边界信息更加明显，高亮区域更加均匀。

技术领域

本发明属于图像显著性目标检测技术领域，具体地涉及一种基于Gram矩阵和F范数的图像特征检测方法。

背景技术

人们通过人眼视觉系统获取大部分信息，图像作为主要的视觉信息，逐渐成为了生活中信息传递的主要方式之一，使得人们之间的信息交流方式变得丰富起来，并不仅限于语言和文字交流。显著性目标检测的目的是定位图像中最明显和最吸引眼球的区域，体现人眼对图像各区域的重视程度，减少场景的复杂度，它可以做为许多计算机视觉任务的预处理步骤，如场景分类、图像分割、视觉追踪、信息隐藏等，在图像处理领域具有至关重要的作用。

近些年来人们提出了很多有价值的方法，但对于一些复杂场景的图像，精确定位目标仍然很困难。目前，已有的图像显著性检测算法可以分为两大类：基于传统的方法和基于深度学习的方法。基于传统的方法主要首先从图像从分辨出显著子集，将这些显著子集合并以分割出完整的显著图像。其原理是利用图像内部线索基于块的检测和利用图像内部线索基于区域的检测，如Itti等提出了一种算法，首采用频率调整方法来计算全分辨率显著图，其中元素x的显著值被计算为中心元素值与高斯模糊输入图像上x的元素值之差的平方；又如T.Liu等提出一种通过测量目标区域相对于所有其他图像区域的全局对比度的基于区域的显著性算法，它将图像分为多个区域，每个区域的显著度等于它与其余所有区域的对比值与权重值的乘积之和等，总的来说，传统方法使用大量显著性先验信息进行图像显著性检测，主要依赖于手工制作的特征(hand-crafted features)，但这些特征往往无法描述复杂的图像场景，并且泛化能力差；近年来，全卷积神经网络(FCN)在密集的预测任务中取得了令人满意的结果，FCN通过考虑像素级别操作来克服由全连接层引起的问题，可以很好地保存空间信息，克服显著性目标边界模糊，预测不准确等问题；同时以VGG为骨干网络在显著性目标检测任务中也得到广泛的利用，因为VGG的模型架构更轻，参数更少，有利于目标检测自身定位，但由于VGG自身网络层数的限制，很难提取到深层的语义特征，性能较低，并且在特征融合时，又很难较好地去融合多层卷积的特征信息，导致显著物体细节信息损失过多，预测不准确。

发明内容

本发明针对市面上显著性检测存在的特征图像边界模糊，高亮区域不均匀等问题，提出了一种基于Gram矩阵和F范数的图像特征检测方法。首先，去除VGG-16网络的最后一层池化层和全联接层，利用卷积层提取图像的多尺度特征信息，利用Gram矩阵和F范数去衡量各层特征张量的权重大小，因为卷积的浅层特征边界信息更加明显，本发明主要考虑复杂场景的边界细节，利用权重信息，增强了边界信息在最后融合的比重，同时减少了深层特征信息在融合时的损失，利用权重对5个不同尺度下的张量进行加权融合，得到最后的显著性图像。

本发明的目的是通过以下技术方案实现的：一种基于Gram矩阵和F范数的图像特征检测方法，采用去除最后一层下采样层、池化层和全连接层的VGG-16网络，所述图像显著性目标检测方法包括如下步骤：

(1)将每个待检测图像输入网络中，提取不同尺度和深度的特征张量S_i，其中,i为特征张量的数量，1≤i≤5,i取1时，为浅层特征张量；i取5时，为深层特征张量；所述特征张量S_i由浅到深的长宽均为上一特征张量的一半；