[发明专利]一种基于目标特征驱动的智能图像融合方法

权利要求书

1.一种基于目标特征驱动的智能图像融合方法，其特征在于步骤如下：

步骤1、建立图像特征集合和融合算法两个集合：

首先选择多组红外与可见光图像，并将其进行分块得到融合图像集；通过对图像集中的图像提取8类统计特征得到红外与可见光图像的差异情况；计算差异特征向量之间的相关系数ρ_XY，其公式如下：

其中，X和Y分别为两个需要分析的特征向量，和分别为两个特征向量对应的均值向量；以互相关系数大于0.8作为条件对特征进行降维与分类，得到降维后图像特征分别为亮度、粗糙度、对比度以及边缘强度；

所述8类统计特征为：灰度均值、标准差、Tmaura纹理特征、平均梯度、平均能量、空间频率和边缘强度；其中Tmaura纹理特征包括粗糙度和对比度；

(b)建立融合算法集合：采用NSCT非下采样轮廓波变换得到一系列图像的低频和高频子带图像，对高频和低频子带使用不同的融合策略得到不同的图像融合效果；建立的融合算法集将低频的红外IR、可见光VIS、加权平均AVE、基于区域能量RE，与高频的红外IR、可见光VIS、绝对值取大MAX、基于区域方差RV进行两两组合，得到16种不同的融合方法；

步骤2、对步骤1建立的两个集合利用模糊数学理论与方法得到两者的模糊映射关系：

首先，对图像库中的所有图像利用16种融合方法分别进行融合并对融合后图像块提取4类特征；利用三角隶属度函数评价在单一特征下融合图像块的融合优劣；通过最大隶属度原则得到在单一特征下某对图像块对应的各种融合方法的定性评价结果；

第二，利用模糊统计法，将上述的评价结果得到单一特征与融合策略之间的模糊映射关系；通过进行n次重复独立的试验来确定论域中元素a对模糊集A的隶属度，当试验次数n足够大时，元素a的隶属频率趋于一个稳定的数，这个稳定的数即为元素a对A的隶属度；

得到单一特征对应融合算法的模糊映射关系；

步骤3：基于显著性检测对红外图像进行目标分割，并利用步骤2得到的映射关系得到目标区域的最优融合策略；

首先，针对红外图像利用Frequency-tuned算法实现图像的显著性检测；然后，对生成的显著性图像，利用一种无监督式的参数核图割方法进行多区域分割得到图像的多区域精确分割；最后，计算每个区域的显著性均值，通过设置目标分割阈值T进行分割，将红外图像中的显著目标分割出来：

式中，W和H分别表示图像的宽和高，S(x,y)代表像素处显著值；

然后，对于图像中的目标区域可以提取图像特征，并通过模糊综合决策理论进行模糊决策；

①，求出评价矩阵P：其中，P_ij表示融合方案F在第{i|1≤i≤4}个因素处于第{j|1≤j≤3}级评语的隶属度，各因素权重W我们定义为图像的特征显著度：

W＝FSD＝sin((π/2)/|(T_1i-T_2i)/(T_1i+T_2i)|) {i|1≤i≤4}

其中，T_1,i、T_2,i分别为红外图像的特征与可见光图像的特征；

②，利用矩阵模糊乘法得到综合评价向量B：

B＝W⊙P

其中，“⊙”表示相乘取小，相加取大的模糊算子；

③，通过模糊评价向量，做出综合评价；加权平均原则通过对评价向量设立等级值，以评价向量作为权数，评判被评对象所属的等级值：

其中，b为权重值，取值为1～3，B为上面得到的综合评价向量，D为最终评价值；利用上式对所有融合方案进行综合评价，那么对于目标区域，评价值最大的融合策略就是对应的最优融合策略；

步骤4：利用步骤3得到的融合策略指导图像融合：

对红外与可见光图像进行NSCT多尺度分解，对于图像中的目标区域选择步骤3得到的融合策略进行融合，而对于图像中的背景区域则可以选择低频可见光、高频绝对值取大的策略，最后，进行逆NSCT变换，即得到融合后清晰图像。

2.根据权利要求1所述基于目标特征驱动的智能图像融合方法，其特征在于：所述目标分割阈值为区域平均显著度的3倍。