[发明专利]一种多源图像高效融合方法、系统及介质

权利要求书

1.一种多源图像高效融合方法，其特征在于，包括针对由两个特征提取网络D和一个特征重建网络F构成的多源图像高效融合网络进行下述训练：

S101，建立待融合的两类源图像与的样本对构成的样本集；

S102，将样本对的源图像与分别输入特征提取网络D提取高维图像特征与；

S103，将高维图像特征与拼接得到融合特征，将融合特征输入特征融合网络F生成融合图像；将高维图像特征与分别输入至中间信息层L_i生成权重与；所述中间信息层L_i由1×1卷积层与Tanh激活函数组合而成；

S104，将权重与分别与融合图像相乘，得到两张权重融合图像和；将权重和源图像相乘、权重和源图像相乘，得到两张权重源图像和；

S105，计算根据权重融合图像与权重源图像之间的相似性设计的损失函数Loss的值，若损失函数Loss的值满足预设的收敛条件，则判定特征提取网络D和特征融合网络F训练完毕；否则，调整特征提取网络D和特征融合网络F的网络参数，跳转步骤S102；

步骤S103中设计的损失函数Loss为梯度损失函数、强度损失函数两者的加权求和，其中梯度损失函数为结构相似性的指数度量SSIM的梯度损失函数、结构相似性的均方误差MSE的梯度损失函数两者的加权求和，所述结构相似性包括权重融合图像与权重源图像之间的相似性，以及权重融合图像与权重源图像权重源图像之间的相似性；所述结构相似性的指数度量SSIM的梯度损失函数的计算函数表达式为：

，

上式中，为结构相似性的指数度量SSIM的梯度损失函数，SIMM为结构相似性的指数度量，与为待融合的两类源图像，为融合图像，W₁和W₂均为权重矩阵，为逐元素相乘；所述结构相似性的均方误差MSE的梯度损失函数的计算函数表达式为：

，

上式中，为结构相似性的均方误差MSE的梯度损失函数，MSE为结构相似性的均方误差，与为待融合的两类源图像，为融合图像，和均为权重矩阵，为逐元素相乘；所述强度损失函数的计算函数表达式为：

，

上式中，为强度损失函数，MSE为结构相似性的均方误差，与为待融合的两类源图像，为融合图像，和均为权重矩阵，为逐元素相乘；所述权重矩阵、、、的计算函数表达式为：

，

，

，

，

上式中，为常数系数，Fgrad为梯度算子，与分别为高维图像特征与的张量，sigmoid为归一化函数，Fmean为计算张量的均值，中间变量和的计算函数表达式为：

，

上式中，和 为中间变量，且有：

，

，

其中sqrt为平方根计算。

2.根据权利要求1所述的多源图像高效融合方法，其特征在于，所述特征重建网络F进行特征重建以获得融合图像包括：将融合特征通过3×3的卷积层得到通道数为64的张量，再经过激活函数LeakyReLU生成激活后的张量，再将激活后的张量通过3×3的卷积层把通道数降低为1，最后再经过激活函数LeakyReLU得到最后的融合图像。

3.根据权利要求1所述的多源图像高效融合方法，其特征在于，所述特征提取网络D提取高维图像特征包括：将源图像通过3×3的卷积层得到通道数为32的张量，再经过激活函数LeakyReLU生成激活后的张量，再将激活后的张量通过3×3的卷积层把通道数提升为64，最后再经过激活函数LeakyReLU得到源图像对应的高维图像特征。

4.一种多源图像高效融合系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～3中任意一项所述多源图像高效融合方法。

5.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序用于被微处理器编程或配置以执行权利要求1～3中任意一项所述多源图像高效融合方法。