[发明专利]基于节点分类和稀疏图学习的双模态图像显著性检测方法

说明书

本发明公开了基于节点分类和稀疏图学习的双模态图像显著性检测方法，属于计算机视觉技术领域。该方法首先将热红外图像作为彩色图像的一个图像通道进行超像素分割，然后提取双模态图像中每一超像素的颜色特征和多层语义特征并建立图模型，接下来对两种模态图像的颜色特征进行低秩矩阵分解，产生对应的低秩矩阵和稀疏矩阵，进而对图模型节点进行分类，根据节点分类距离和欧几里得距离计算初始邻接矩阵，然后多次使用初始邻接矩阵和指示向量进行稀疏图学习显著性排序，得到显著性图。相较于现有显著性检测方法，该方法显著提高了检测精度，可以很好地将图像显著性区域与背景分离开，且对在雨雾环境、光线不足环境下拍摄的图像依旧有着良好的表现。

技术领域

本发明涉及图像显著性检测方法，具体涉及一种基于节点分类和稀疏图学习的双模态图像显著性检测方法。

背景技术

显著性检测是通过模拟人眼的注意力机制，识别图像中最吸引人注目的对象或区域。作为图像处理中的关键一步，显著性目标检测在图像分割，目标跟踪，图像融合等计算机视觉任务中起着重要作用。

目前大多数的显著性检测方法主要是针对于可见光图像，也就是RGB图像设计的。当暴露于光照条件差或者背景复杂等挑战性环境下，针对于RGB图像设计的方法可能无法准确的将显著性目标与图像背景区分开。因此，一些研究者开始使用多个传感器去获取不同模态的图像，利用不同模态图像之间的优势互补进一步提高显著性检测的效果。当前被广泛使用的就是RGB图像和深度图像。深度图像也被称为距离影像，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了物体可见表面的几何形状。深度图像的使用，为显著性检测提供了物体的三维信息，弥补了RGB图像只包含颜色纹理等底层特征的缺点。但是，深度图像本身分辨率较差，图像中噪声信息较多，有用信息较少且可利用率低。因此，结合RGB图像和深度图像的显著性检测方法通常只是将深度图像作为增补信息，对RGB图像进行信息的补充，而且深度图像的使用并没有解决RGB图像在光照条件不好时成像素质差的问题。为了解决上述问题，极少数的研究者开始探索一种信息更加丰富的图像，用以结合RGB图像进行双模态图像的显著性检测。这种新的图像就是热红外图像。

热红外图像是由专业的热红外相机拍摄而成。热红外相机的成像不需要光照，而是通过捕获温度高于绝对零值的物体发出的红外辐射进行成像，因此热红外相机可以弥补可见光相机在雨雾天气下或光照不足时无法很好成像的缺点。但是热红外图像相较于RGB图像来说，通常分辨率较低、图像中物体轮廓不是特别清晰。因此，热红外图像与RGB图像具有优势互补的特点，使用这两种模态的图像进行显著性检测可以进一步提高显著性检测的性能。目前使用RGB图像和热红外图像进行显著性检测是一个十分新颖的研究课题，只有少数的研究者进行了这方面的研究：Li等人首先提出了一种用于RGB图像和热红外图像显著性检测的多任务流形排序的方法；Tu等人通过构建了协同图学习模型来进行双模态图像的显著性检测；Huang等人提出低秩张量模型和多重学习的排序方法。以上用于RGB图像和热红外图像显著性检测方法通常存在以下几个问题：1、以上方法采用的图学习是完整信息的图学习，这会造成信息的重复学习，使得计算量增加并且造成信息冗余；2、以上方法都是使用欧几里得距离计算邻接矩阵，这种计算方法只考虑了节点之间的局部关系，没有考虑其全局关系，进而造成显著性检测的精度并不高。

发明内容

针对现有技术存在的问题，本发明提供了一种基于节点分类和稀疏图学习的双模态图像显著性检测方法，旨在降低基于彩色图像-热红外图像双模态图像的显著性检测的计算量和提高显著性检测的精度。

本发明的技术方案是：

一种基于节点分类和稀疏图学习的双模态图像显著性检测方法，包括如下步骤：

步骤1：对彩色图像和热红外图像进行叠加，并对叠加后的图像进行超像素分割得到具有n个超像素块的超像素分割图像，且将超像素分割标签映射到彩色图像和热红外图像；