[发明专利]一种基于跨层空间对齐的图像显著性检测方法

说明书

本发明公开了一种基于跨层空间对齐的图像显著性检测方法。训练阶段，彩色真实物体图像、热图像和真实显著性检测标签图像构成训练集，构建卷积神经网络训练，得到显著性检测预测图；计算显著性检测预测图集合与真实显著性检测图像处理成的编码图像集合间的损失函数值优化训练；测试阶段，将待显著性检测的彩色真实物体图像的各通道分量和热图像输入到卷积神经网络训练模型中，用最优权值矢量和最优偏置项预测得显著性检测预测图；卷积神经网络的隐层包括RGB图神经网络块、热图神经网络块、跨层空间注意力块、自适应融合层、RGB上采样块、热图上采样块。本发明通过高效地利用热图信息和彩色图信息，具有显著性检测效率和准确率都很高的优势。

技术领域

本发明涉及一种视觉显著性检测方法，尤其是涉及一种基于跨层空间对齐的图像显著性检测方法。

背景技术

视觉显著性可以帮助人类快速地过滤掉不重要的信息，让人们的注意力更加集中在有意义的区域，从而能更好地理解眼前的场景。随着计算机视觉领域的快速发展，人们希望电脑也能拥有和人类相同的能力，即在理解和分析复杂的场景时，电脑可以更加针对性地处理有用的信息，从而能更大的降低算法的复杂度，并且排除杂波的干扰。在传统做法中，研究人员根据观察到的各种先验知识对显著性对象检测算法进行建模，生成显著性图。这些先验知识包括对比度、中心先验、边缘先验、语义先验等。然而，在复杂的场景中，传统做法往往不够准确，这是因为这些观察往往局限于低级别的特征(例如：颜色和对比度等)，所以不能准确反映出显著性对象本质的共同点。

近年来，卷积神经网络已广泛运用于计算机视觉的各个领域，许多困难的视觉问题都获得了重大的进展。不同于传统做法，深度卷积神经网络能够从大量的训练样本中建模并自动的端到端(end-to-end)地学习到更为本质的特性，从而有效地避免了传统人工建模和设计特征的弊端。最近，传感器的有效应用更加丰富了数据库，人们不但可以获得彩色图片，而且可以获取彩色图片对应的热图(Thermal)信息。热图信息在现实场景中能够在黑暗、遮挡等恶劣条件下辅助人眼视觉系统，这是在之前的传统做法中所完全忽略掉的一条重要的信息，但是现有的热图(thermal)通常会与RGB图存在一定的空间对齐问题，因此现在最重要的任务就是如何建立模型从而有效地利用好热图，并在一定程度上缓解热图与RGB图的对齐问题。

在RGB-T数据库中采用深度学习的显著性检测方法，直接进行像素级别端到端的显著性检测，只需要将训练集中的图像输入进模型框架中训练，得到权重与模型，即可在测试集进行预测。目前，基于RGB-T数据库的深度学习显著性检测模型主要用的结构为编码-解码架构，在如何利用热图信息的方法上有两种：第一种方法则是将在编码过程中对应的彩色图信息和热图信息利用跳层(skip connection)的方式相加或者叠加到对应的解码过程中，这类称为后融合；第二种方法则是分别利用彩色图信息和热图信息进行显著性预测，将最后的结果融合。上述第一种方法，由于彩色图信息和热图信息的分布有较大差异，因此直接在编码过程中加入热图信息会在一定程度上添加了噪声。上述第二种方法不仅避免了在编码阶段直接利用热图信息带来的噪声，而且在网络模型的不断优化中能够充分学习到彩色图信息和热图信息的互补关系。参考最近发表的显著性检测方案，RGB-T SalientObject Detection via Fusing Multi-level CNN Features(融合多层卷积神经网络特征的彩色热图显著物体检测)，以下简称为 FMCF，FMCF主要针对的是多模态信息(彩色图信息和热图信息)的融合问题，首先在各自模型选取紧邻的特征来融合多尺度的特征，进行利用分组的融合方式进行多模态信息的融合。由于FMCF并没有考虑到彩色图信息和热图信息之间的对齐问题，这种方式进行多模态信息的融合必然会对最后结果造成影响。

发明内容

为了解决背景技术中存在的问题，本发明提出了一种基于卷积神经网络的显著性检测方法，其通过高效地利用热图信息和彩色图信息，从而提升了显著性检测准确率和效率。

本发明解决上述技术问题所采用的技术方案为：

总体实现框图如图2所示，包括训练阶段和测试阶段两个过程；