[发明专利]一种红外与可见光图像融合方法及系统

说明书

本公开提供了一种红外与可见光图像融合方法及系统，通过对红外与可见光图像数据进行预处理，将预处理后的图像随机划分为训练集、验证集、测试集；根据红外与可见光图像不同的表征构建基于深度学习的图像融合模型，并设计适合的损失函数；利用所述训练集及所述损失函数对所述融合模型进行训练；利用训练好的融合模型实现红外图像和可见光图像间的融合，获得融合后的图像。本公开所述方案能够实现端到端融合图像，避免了传统融合方法的人工设计的困难，所述方案的图像融合模型保留了更多源图像的有用信息，提高图像的融合度，使融合后的图像更加符合人的感知，能包含更多的细节和背景信息，有助于后续运用比如目标检测、识别任务等。

技术领域

本公开涉及图像融合领域，尤其涉及一种红外与可见光图像融合方法及系统。

背景技术

图像融合的目的是将不同类型的传感器接收到的图像结合起来，合成具有大量信息的高质量图像，其在模式识别、遥感、医学成像和现代军事等场景分析中有着重要的应用。红外图像，是由红外传感器捕获的图像，用于记录来自不同物体的热辐射。红外传感器能在室外光线照射不足、烟雾的遮挡等恶劣的环境下快速完成成像，但是成像的分辨率相对较低，场景的信息处理和描述能力不足，应用的范围有限。可见光的图像由立体光学理论产生，主要捕获反射光使得可见光图像具有丰富的背景信息，呈现的是人眼对于场景的直接观察的结果，具有比较高的分辨率，并且纹理细节等比较丰富。但是，容易受光照、角度等自然因素的影响，在夜间、烟雾遮挡、环境脏乱等情况下拍摄的目标不易被观测到。因此，将红外图像和可见光图像融合为一张图像可以更符合人的视觉感知，也有利于后续应用等。

图像融合的基本流程一般包括：预处理，融合策略、融合结果。首先进行预处理过程，预处理包括数据增强、配准等。能收集到的数据比较少，因此要通过各种形式对数据进行扩充。图像配准是为了解决不同传感器在拍摄角度、时间、空间分辨率等方面的成像差异。融合策略是指依据特定的融合算法或算法对多源图像进行融合处理，融合得到的结果应用于后续的目标检测、识别等任务。

而现有的红外与可见光图像融合方法主要可以分为两大类：基于传统方法的图像融合和基于深度学习方法的图像融合。基于深度学习的主要有三个步骤：特征提取、特征融合、特征重建。首先提取源图像的显著特征，然后通过特定的融合规则得到最终的融合结果。发明人发现，针对红外与可见光图像融合已经提出了很多深度学习方法，这些融合方法取得了较好的融合性能，比如DenseFuse、FusionGAN；但是现有方法仍存在各种问题，如DenseFuse在提取特征中使用密集块，每层的输出作为下一层的输入，利用编码网络中每一层的结果来构造特征映射，但这不是一个端到端的模型；在特征提取过程中，会损失大量细节信息和背景信息，进而造成图像的融合效果较差。

发明内容

本公开为了解决上述问题，提出了一种红外与可见光图像融合方法及系统，本公开所述方案获得的融合图像更符合人的视觉感知，并能包含更多的细节和背景信息，有助于在目标检测、识别等方面的应用。

根据本公开实施例的第一个方面，提供了一种红外与可见光图像融合方法，包括以下步骤：

获取红外图像与可见光图像；

对所述红外图像与可见光图像进行预处理，构建训练集；

构建基于深度学习的红外图像与可见光图像融合模型，并设计其损失函数；

利用所述训练集及所述损失函数对所述融合模型进行训练；

利用训练好的融合模型实现红外图像和可见光图像间的融合，获得融合后的图像。

进一步的，图像数据的获取，具体包括获取红外图像和可见光图像，所述图像数据预先经过严格配准，无需二次配准。

进一步的，对所述红外图像与可见光图像进行预处理，所述预处理包括图像扩充和红外图像与可见光图像间的配准。