[发明专利]一种基于深度学习的无监督图像融合方法

说明书

一种基于深度学习的无监督图像融合方法，包括如下步骤：获取可见光和红外图像，并利用计算机对图像进行预处理，构建一个用于训练图像融合网络的数据集，数据集中包含成对的红外和可见光图像；构造一个轻量级的深度卷积神经网络，网络可以实现将输入的可见光和红外图像进行加权融合和解码还原；构造一个混合损失函数，混合损失函数包括图像的生成损失和结构损失，利用该混合损失函数训练深度卷积神经网络，获得深度图像融合网络模型参数；模型学习完毕后，去掉解码网络，即可利用该网络输入可见光和红外图像，网络的输出即为融合之后的图像。本发明实现了轻量级的图像融合方法，在有限计算资源的移动设备和嵌入式设备中能够达到高质量的融合效果。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于深度学习的无监督图像融合方法。

背景技术

随着信息技术的发展，数字图像被广泛适用于各种场景中。但多种传感器的使用，同时也带来了信息的冗余与分析复杂性的增加。如何更好的综合利用多源传感信息，将多源冗余信息合并，同时构建出内容更加丰富的融合信息，已经成为科学家们亟待解决的关键问题。图像融合是复杂探测系统的关键问题之一，其目的是利用特定的算法将同一场景的多源图像综合成一幅信息更加完整的新图像。虽然图像融合经过了长时间的研究，但由于在实际运用中仍存在局限性，当前的融合策略只适用于特定的场合和特定和角度。

为了解决上述关键问题，近年来大量的研究者希望利用深度学习的方式，让计算机通过深度卷积网络来对图像进行融合的算法。但由于深度卷积神经网络模型结构复杂，且融合策略过于单一，在实际应用中模型需要大量的存储和计算资源，很难应用到手机等移动终端中。同时，由于图像融合结果没有严格的评价指标，很难通过有监督信息进行学习。因此，图像融合方法急需轻量级的无监督方法，实现在有限计算资源的移动设备和嵌入式设备中达到高质量的融合效果。

发明内容

本发明针对现有技术中的不足，提供一种基于深度学习的无监督图像融合方法。

为实现上述目的，本发明采用以下技术方案：

一种基于深度学习的无监督图像融合方法，其特征在于，包括如下步骤：

步骤S1、获取红外和可见光图像，并利用计算机对图像进行预处理，构建一个用于训练图像融合网络的数据集，该数据集中包含成对的红外和可见光图像；

步骤S2、构造一个轻量级深度卷积神经网络，该深度卷积神经网络可以实现将输入的红外和可见光图像进行加权融合和解码还原；

步骤S3、构造一个混合损失函数，该混合损失函数包括图像的生成损失和结构损失，利用混合损失函数训练深度卷积神经网络，获得深度图像融合网络模型参数；

步骤S4、深度图像融合网络模型学习完毕后，去掉解码网络，利用该网络输入红外和可见光图像，网络的输出即为融合之后的图像。

为优化上述技术方案，采取的具体措施还包括：

进一步地，步骤S1中，获取的红外和可见光图像是成对的，是在同一机位和同一时刻拍摄的，不同数据源获取的多源图像无需缩放至同一尺度大小。

进一步地，步骤S1中，构建训练数据集时，当数据集规模包含预设数量的多源图像时，停止收集数据。

进一步地，步骤S2中，轻量级深度卷积神经网络由两部分单位构成，分别为编码单元和解码单元，编码单元和解码单元均依次由单点卷积层、单层卷积层和单点卷积层构成，单点卷积层和单层卷积层之间加入批量归一化与非线性激活函数；给定一对红外和可见光图像，经过该编码单元后输出融合图像；给定融合图像，经过该解码单元后输出对应的一对红外和可见光图像。

进一步地，步骤S3具体包括：