[发明专利]一种红外和可见光图像融合方法

说明书

本发明公开了一种红外和可见光图像融合方法，首先，构建可见光和红外图像数据库，确定卷积神经网络结构，构建卷积神经网络基本单元；其次，应用可见光和红外图像数据库通过迁移训练对GoogLeNet进行训练；然后，将融合图像分别和原图像的损失函数以及正则项相加作为目标函数，进行融合网络的训练；最后，输入待融合的可见光及红外图像得到最终的融合图像。本发明将图像融合分为融合网络和评价网络，根据感知损失函数确定目标函数，采用随机梯度下降法更新融合网络中参数，获得最优的融合图像，相比于现有的深度学习融合算法，融合效果更好。

技术领域

本发明涉及图像处理领域，特别涉及到一种基于卷积神经网络和感知损失函数的红外和可见光图像融合方法。

背景技术

红外与可见光图像融合是在军事领域和安全监控领域具有广泛应用的一种图像融合方式。红外图像一般较暗、信噪比低、无彩色信息、缺少层次感，但却常有比较明显的目标信息；可见光图像光谱信息丰富，动态范围大，对比度相对较高，包含丰富的细节信息，但在黑暗背景下不易观察。通过对红外与可见光图像的融合，提高红外目标的可识别度和图像的清晰度，获得更加详细准确的信息，可以使人们能在恶劣的环境下也能准确判断热源的位置，在军事作战、电子产品检测、资源探测等众多领域中都有广泛的实用价值。

目前绝大部分的融合算法是在变换域实现的，将配准后的待融合图像在变换域进行特征提取，如小波变换、独立成分分析、Hess矩阵分解和稀疏分解等，其实质是通过某种变换将原始图像转换到变换域，对变换域上图像的系数进行合并，重建得到融合图像。这类方法在特征提取和合并过程中不能直接针对某种融合质量评价标准(如Piella指数，Petrovic指数)的提高，具有很强的盲目性，缺少理论依据，算法的有效性只能通过实验验证。因此这类算法具有较强的局限性，难以保证其对未经实验图像的有效性。

近年来，深度学习技术受到广泛关注，已经在模式识别，图像增强等许多领域取得很好的效果。也有一些研究人员将深度学习应用于图像融合进行探索性的研究。如利用深度学习模型(如卷积神经网络、自动编码)将待融合图像分解为高低频图像，再采用不同的融合规则分别融合，取得了一定的效果。但这类方法只是将深度学习获得的特征分别融合，不能保证最后的融合质量，融合图像的效果不能反馈于深度学习的训练过程，没有很好的利用深度学习算法的自适应性。因此，需要有一种新的方法通过深度学习和感知损失函数获得效果最优的融合图像。

发明内容

发明目的：本发明提出了一种融合效果更好的红外和可见光图像融合方法。

技术方案：本发明所述的一种红外和可见光图像融合方法，包括以下步骤：

(1)构建可见光和红外图像数据库，确定卷积神经网络结构，构建卷积神经网络基本单元；

(2)应用可见光和红外图像数据库通过迁移训练对GoogLeNet进行训练；

(3)将融合图像分别和原图像的损失函数以及正则项相加作为目标函数，进行融合网络的训练；

(4)输入待融合的可见光及红外图像得到最终的融合图像。

步骤(1)所述的卷积神经网络深度为10，包括输入层、基本单元、卷积层和回归层。

所述步骤(1)包括以下步骤：

(13)将带融合数据库中的红外和可见光图像滑动分块，根据融合网络深度确定图像块的大小；

(14)输入层之后是第1个卷积层，包含32个滤波器，卷积核为3×3；

(13)接下来的9层中的卷积核由维度为3×3×32的标准正态分布的随机矩阵乘以分别计算得到，偏置全部为0，卷积层后跟随一个激励层，激励层均选用漏修正线性单元函数；

(14)最后一层卷积层后使用回归层。

所述步骤(2)包括以下步骤：