[发明专利]一种跨模态图像显著性检测方法

权利要求书

1.一种跨模态图像显著性检测方法，其特征在于，包括以下步骤：

(1)输入配对的多模态图像，用基于超像素分割算法对不同模态进行分割，获取均匀、大小近似的超像素区域；

(2)设计基于图流形排序算法的多模态图像显著性检测模型，引入跨模态软一致性约束和流形排序拟合项稀疏性约束；

(3)以图像四边的超像素作为种子节点，计算其他节点与种子节点的相似性，得到初步的显著图；

(4)参考上一阶段得到的前景点作为种子节点，计算其他节点到该节点的相似性，得到最终的显著图；

在所述步骤(2)中，引入跨模态软一致性约束和流形排序拟合项稀疏性约束来协同计算多模态的排序函数如下：

其中，r＝[r¹,…,r^k]^T表示模态权重向量；

对应模态k情况下每个超像素块x_i的排序值，表示排序值向量；

‖s^k-y‖₁是通过l₁范数对拟合项进行稀疏约束；

‖s^k-s^k-1‖₁是通过l₁范数实现跨模态的软一致性约束，即在协同多个模态的基础上，允许部分不一致，解决模态之间异质性的问题；

Γ＝[Γ¹，Γ²,…，Γ^M]^T为参数向量，由第一次迭代后的重构误差决定；

λ表示超参数，°表示向量的点乘，即对应元素相乘，接着求解变量r和变量s；

在所述步骤(3)中，包括以下步骤：

(31)首先选取背景节点，提取图像四周的边界超像素组合边界集合，选取图像左右两边位置在Ψ*w以内的超像素和上下两边位置在Ψ*h以内的超像素组成边界集合，其中w和h是图像的宽度，Ψ为获取边界集合的系数；

(32)利用图像中超像素与背景节点的颜色对比度进行显著性检测，与背景点颜色相近的超像素颜色块区域为背景，相差较大的区域为背景目标；

(33)分别把上、下、左、右四条边界的节点作为背景种子点，即查询对象，以图像边界处的查询对象计算图中节点相对于查询对象的排序得分，再用1减去该得分，最后把四个方向求出的前景点向量做点乘最终的第一步的显著性图如下表示向量点乘，即对应元素相乘；

在所述步骤(4)中，根据阈值选取前景，

阈值计算公式为：代表的最大值，

T₂＝max(s₁)-β₂，max(s₁)代表s₁的最大值，β_k表示k模态的一个超参数；

根据阈值，显著度大于阈值的超像素块标记为前景，小于阈值的超像素块标记为背景，得到新的排序结果对整张图进行流形排序，并结合多个模态的权重值得到像素块最终的显著性值：此时再将每个超像素块的显著性值赋给对应超像素块中的每个像素点，得到最终的视觉显著性图。

2.根据权利要求1所述的一种跨模态图像显著性检测方法，其特征在于，待检测图像为可见光与热红外两张配对形式的图像，由红、蓝、绿三个颜色通道组成，采用线性迭代聚类超像素分割，将具有相似纹理、颜色、亮度特征的相邻像素构成有一定视觉意义的不规则像素块。

3.根据权利要求1所述的一种跨模态图像显著性检测方法，其特征在于，所述步骤(1)具体过程如下：

(11)根据图像的大小计算像素点的总数，根据指定的超像素的个数计算每个超像素中所含的像素点总数；

(12)然后将聚类中心初始化在间隔为S的网格节点上；

(13)在以该像素为中心的3×3邻域内计算每个像素点的梯度，并选取梯度最小的像素点作为修正后的中心；

(14)搜索聚类中心周围2S×2S区域内的像素，根据D_s的大小确定像素点的归属；

(15)重新计算聚类中心，在新的聚类中心上重新聚类，依次迭代，直到前后两次计算的聚类中的距离小于一定的阈值则认为收敛，对于不连通的区域，将它合并到与之相邻的最大超像素块中。