[发明专利]一种跨模态图像显著性检测方法

说明书

本发明公开了一种跨模态图像显著性检测方法，输入配对的多模态图像，用基于超像素分割算法对不同模态进行分割，获取均匀、大小近似的超像素区域；设计基于图流形排序算法的多模态图像显著性检测模型，引入跨模态软一致性约束和流形排序拟合项稀疏性约束；以图像四边的超像素作为种子节点，计算其他节点与种子节点的相似性，得到初步的显著图；参考上一阶段得到的前景点作为种子节点，计算其他节点到该节点的相似性，得到最终的显著图。本发明提出了一种基于图流形排序算法互补地融合多模态图像的方法，并引入l₁范数实现跨模态软一致性约束和流形排序函数拟合项稀疏性约束，即在协同多个模态的基础上，允许部分不一致，增加拟合项的鲁棒性。

技术领域

本发明涉及一种计算机视觉技术，尤其涉及的是一种跨模态图像显著性检测方法。

背景技术

基于流形排序的显著性检测是基于背景节点和前景节点，提出一种图像显著性检测算法。先利用背景节点作为先验知识，结合图像颜色特征和位置关系计算得到的基于背景节点集合的显著图像，因为背景节点是确定的，根据图像超像素与背景节点的对比度关系，可以将前景目标超像素很好的凸显出来，但对背景噪声的抑制不足，然后用前景作为先验知识，利用图像颜色特征和位置关系计算得到的基于前景节点集合的显著性图像能够很好的抑制背景噪声。两种显著性图像模型相互结合可以很好的突显目标并抑制背景噪声。

传统的显著性检测是基于单模态下图像。例如：可见光(波长0.4～0.7μm)图像包含丰富的几何和纹理细节，但是对光线敏感，在复杂场景和环境下图像质量急剧下降，如：雾霾和低光照等。而热红外(波长3～12μm)图像反映了场景中的表面温度分布，因此对光照不敏感，具有很好的云雾穿透、以及特殊的识别伪装的能力。但是，该类图像的分辨率一般比较低，边缘模糊，且容易受温度分布影响。

因此，利用多种模态下互补特性，从信息融合的角度出发，通过融合多个互补的视觉模态数据，实现挑战场景和环境下具有鲁棒性的多模态显著性检测。但如何自适应融合这些模态信息(如深度和可见光)对检测的鲁棒性和准确性尤为重要，现有方法使用跨模态一致性约束(例如，l₂范数约束[A Unified RGB-T Saliency Detection Benchmark:Dataset,Baselines,Analysis and A Novel Approach，一个统一的可见光与热红外显著性检测基准：数据集，基准方法，分析和新方法])，会对不同模态造成过强约束，易引入模态噪声或误差，致使不能良好地把多模态信息融合在一起。此外，对流形排序函数拟合项进行l₁范数约束，可以增加拟合项的鲁棒性，克服种子点噪声的干扰。

发明内容

本发明所要解决的技术问题在于：现有技术容易引入模态噪声或误差，致使不能良好地把多模态信息融合在一起，提供了一种跨模态图像显著性检测方法。

本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：

(1)输入配对的多模态图像，用基于超像素分割算法对不同模态进行分割，获取均匀、大小近似的超像素区域；

(2)设计基于图流形排序算法的多模态图像显著性检测模型，引入跨模态软一致性约束和流形排序拟合项稀疏性约束；

(3)以图像四边的超像素作为种子节点，计算其他节点与种子节点的相似性，得到初步的显著图；

(4)参考上一阶段得到的前景点作为种子节点，计算其他节点到该节点的相似性，得到最终的显著图。

所述待检测图像为可见光与热红外两张配对形式的图像，由红、蓝、绿三个颜色通道组成，采用线性迭代聚类超像素分割，将具有相似纹理、颜色、亮度特征的相邻像素构成有一定视觉意义的不规则像素块。

所述步骤(1)具体过程如下：

(11)根据图像的大小计算像素点的总数，根据指定的超像素的个数计算每个超像素中所含的像素点总数；