[发明专利]基于深度无监督密集卷积网络的红外和可见光图像融合方法

权利要求书

1.一种基于深度无监督密集卷积网络的红外和可见光图像融合方法，其特征在于步骤如下：

步骤1：输入待融合的红外图像A与可见光图像B；

步骤2：将红外图像A依次输入四个卷积层C1、DC1、DC2、DC3进行特征提取，将可见光图像B依次输入四个卷积层C1、DC1、DC2、DC3进行特征提取，每个卷积层的卷积核的大小均为3×3，步长为1，卷积层的特征图输出通道为16，每个卷积层的输入都为前面所有卷积层输出的级联；

步骤3：采用L1范数加法策略来融合不同输入图像的特征，用以获得最终的融合特征，即：

其中m∈{1,2,...,M}，M＝64代表特征图的数量，和表示输入红外图像A与可见光图像B中获得的特征图，f^m表示融合后的特征图，(x,y)表示待融合和融合后的特征图对应位置，w_k(x,y),(k＝1,2)表示权重，其计算公式为：

步骤4：将步骤3输出的融合后的特征图f^m作为输入，依次输入卷积层C2、C3、C4、C5，每一个卷积层的卷积核的大小均为3×3，步长为1，前三层的卷积层非线性激活函数为泄漏整流行函数，最后一层非线性激活函数为Sigmoid函数，通过上述卷积和激活可以重建输出最终的融合图像。

2.根据权利要求1所述的一种基于深度无监督密集卷积网络的红外和可见光图像融合方法，其特征在于步骤2中所述的C1为1×16。

3.根据权利要求1所述的一种基于深度无监督密集卷积网络的红外和可见光图像融合方法，其特征在于步骤2中所述的DC1为16×16。

4.据权利要求1所述的一种基于深度无监督密集卷积网络的红外和可见光图像融合方法，其特征在于步骤2中所述的DC2为32×16。

5.据权利要求1所述的一种基于深度无监督密集卷积网络的红外和可见光图像融合方法，其特征在于步骤2中所述的DC3为48×16。

6.据权利要求1所述的一种基于深度无监督密集卷积网络的红外和可见光图像融合方法，其特征在于步骤4中所述的C2为64×64。

7.据权利要求1所述的一种基于深度无监督密集卷积网络的红外和可见光图像融合方法，其特征在于步骤4中所述的C3为64×32。

8.据权利要求1所述的一种基于深度无监督密集卷积网络的红外和可见光图像融合方法，其特征在于步骤4中所述的C4为32×16。

9.据权利要求1所述的一种基于深度无监督密集卷积网络的红外和可见光图像融合方法，其特征在于步骤4中所述的C5为16×1。

10.一种用于权利要求1所述的基于深度无监督密集卷积网络的红外和可见光图像融合方法的损失函数，其特征在于基于结构相似性和图像质量：

(1)结构相似度SSIM，用于计算两幅图像在对应位置的不同滑动窗口的结构相似度，假设输入图像为I，输出图像为O，则SSIM可定义为:

其中C₁、C₂为常数，设置为2×10^-6，μ_I表示输入图像I中的滑动窗口的均值，μ_O表示输出图O中的滑动窗口的均值，表示μ_I的方差，σ_IO表示μ_I与μ_O之间的协方差，SSIM取值范围为[-1,1]；因此，图像的结构相似性损失定义为：

L_SSIM＝1-SSIM(I,O) (4)

(2)邻域内的图像质量测量，根据两幅输入图像的结构相似性作为匹配的指标，当输入图像A的标准差std(A|w)大于输入图像B的对应标准差std(B|w)，则表明输入图像A更匹配，因此图像质量的表达式为：

其中O表示输出图像，w表示滑动窗口，大小设置为7×7，滑动窗口以一个像素为步长从左到右、从上到下依次滑动；

(3)基于结构相似性和图像质量的损失函数，在密集卷积网络训练采用融合性能评价度量是通过上述结构相似度SSIM和邻域内的图像质量Scope(A,B,O)测量两部分因素，得到基于结构相似性和图像质量的损失函数：

其中，N表示图像中滑动窗口的总数。