[发明专利]基于节点分类和稀疏图学习的双模态图像显著性检测方法

权利要求书

1.一种基于节点分类和稀疏图学习的双模态图像显著性检测方法，其特征在于，包括如下步骤：

步骤1：对彩色图像和热红外图像进行叠加，并对叠加后的图像进行超像素分割得到具有n个超像素块的超像素分割图像，且将超像素分割标签映射到彩色图像和热红外图像；

步骤2：分别对映射后的彩色图像和热红外图像中每一个超像素块提取其各自具有的颜色特征和语义特征并构造相应的特征矩阵，得到彩色图像的特征矩阵和热红外图像的特征矩阵；

步骤3：根据上述彩色图像的特征矩阵和热红外图像的特征矩阵分别建立对应的图模型；

步骤4：分别对彩色图像的颜色特征和热红外图像的颜色特征进行低秩矩阵分解，分别得到与彩色图像的颜色特征相对应的稀疏矩阵和低秩矩阵以及与热红外图像颜色特征相对应的稀疏矩阵和低秩矩阵；

步骤5：根据彩色图像与热红外图像各自对应的稀疏矩阵和低秩矩阵，分别将彩色图像与热红外图像各自对应的图模型上的节点分成前景节点、背景节点和无效节点；

步骤6：根据每一图模型上的各类节点，计算彩色图像和热红外图像各自分别对应的每一图模型的初始邻接矩阵；

步骤7：根据步骤1得到的超像素分割图像构造用于显著性排序的背景指示向量；

步骤8：根据步骤6得到的邻接矩阵和步骤7得到的背景指示向量，利用稀疏图学习显著性排序算法进行稀疏图学习显著性排序，分别计算不同背景指示向量相对应的显著性排序；

步骤9：将不同的显著性排序的元素对应相乘得到初始显著性值；

步骤10：对步骤9得到的初始显著性值设置阈值构造前景指示向量，即大于初始显著性平均值的节点视为前景种子点，其余视为背景种子点，将前景指示向量和初始邻接矩阵输入到稀疏图学习显著性排序算法中进行计算，得到最终的显著性图。

2.根据权利要求1所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，其特征在于，在步骤1中将热红外图像作为彩色图像的一个图像通道进行图像叠加，在图像叠加过程中将彩色图像和热红外图像的像素值各取一半进行相加，得到叠加后的图像。

3.根据权利要求1所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，其特征在于，在步骤1中使用SLIC算法对叠加后的图像进行超像素分割。

4.根据权利要求1所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，其特征在于，步骤2中所述的语义特征为两层语义特征，分别是FCN-32s网络的第一卷积层特征和第五卷积层特征。

5.根据权利要求1所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，其特征在于，步骤3中所述的图模型的节点是超像素分割后的超像素块。

6.根据权利要求1所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，其特征在于，步骤5中所述的前景节点、背景节点和无效节点的分类标准为：前景节点的分类标准是当时，则第p个节点被认定为是前景节点，其中q_p是指稀疏矩阵S第p列所有元素的和；背景节点的分类标准是当时，则第r个节点被认定为是背景节点，其中b_r是指低秩矩阵L第r列所有元素的和；既不属于前景节点，又不属于背景节点的节点则被认定为无效节点。

7.根据权利要求6所述的基于节点分类和稀疏图学习的双模态图像显著性检测方法，其特征在于，所述图模型的初始邻接矩阵表示为按照式(2)进行计算：

其中，m∈{1,2,…,M}代表了不同的模态图像，M为所使用的图像模态的总数；k∈{1,2,…,K}代表了每种模态图像的不同特征，K为每种模态图像所使用的图像特征的总数；w_ij是邻接矩阵W的第i行，第j列的元素值；x是从节点中提取的特征向量；κ和δ是参数。