[发明专利]基于可见光图像增强的红外图像卷积神经网络超分辨方法

说明书

本发明公开了一种基于可见光图像增强的红外图像卷积神经网络超分辨方法。利用红外可见光双分辨相机拍摄得到场景的红外图像和可见光图像，形成红外‑可见光图像对，并处理得到训练集；以训练集迭代训练初始化后的卷积神经网络模型，直至迭代次数达到预设次数，卷积神经网络模型训练完毕，将红外相机拍摄到的红外图像输入训练后的卷积神经网络模型，得到超分辨的红外图像。本发明利用了可见光图像的信息，解决了超分辨过程中红外图像细节不丰富的问题，超分辨后的红外图像有更好的细节表现能力，卷积神经网络模型的鲁棒性强。

技术领域

本发明属于数字图像处理领域的一种图像超分辨方法，涉及了一种利用可见光图像增强图像细节的卷积神经网络模型的图像超分辨处理方法。

背景技术

红外图像在很多领域例如热分析，视频监控，医疗诊断，远程遥感等提供了很多有价值的应用信息。红外图像质量和分辨率不高的主要原因是由于非理想光学和有限的探测器尺寸造成的模糊效应。一般来说，与可见光相比，红外图像质量较差，空间分辨率有限。为了实现高精度的热测量，红外探测器被封装在独立的真空封装中，这是一个耗时且昂贵的过程。对于低分辨率红外图像，通过解决非定向的病态问题来恢复细节，这对于实现可靠的目标检测和识别任务至关重要。

超分辨率算法是一种利用单个或多个低分辨率图像恢复对应的的高分辨率图像的技术。图像超分辨方法是提高红外图像分辨率的最佳方法之一。

发明内容

为了解决背景技术中存在的技术问题，针对红外成像系统，在成像过程中难以采用高效的方法获得高质量的红外图像，难以通过简单有效的办法提高红外图像的分辨率，现有的算法难以在红外图像的细节上有显著提升等问题，本发明采用了一种利用可见光图像增强图像细节的卷积神经网络模型的图像超分辨处理方法。

本发明利用了可见光图像的信息，解决了超分辨过程中红外图像细节不丰富的问题，超分辨后的红外图像有更好的细节表现能力，卷积神经网络模型的鲁棒性强。

本发明的目的是使用红外可见光图像成像系统拍摄实拍装置获得的各种情况下的相同场景的红外图像和可见光图像，然后将拍摄的得到的同一场景的红外可见光图像进行匹配得到用于卷积神经网络模型训练的训练集，最后以训练集迭代训练初始化后的卷积神经网络模型，训练完毕后将红外成像系统拍摄得到的红外图像输入该训练好的模型，得到超分辨后的图像。

为达到以上目的，本发明采用以下技术方案：

(1)使用红外可见光双分辨相机拍摄获得各种场景下的红外图像和可见光图像；

各种场景是指室内或者室外的景物/风景图像，其中包含人物或者不包含人物。

(1.1)根据图像内容和信息进行筛选，将相同场景的红外图像和可见光图像形成红外-可见光图像对；

(2)将拍摄得到的红外-可见光图像对根据场景内容整理得到用于训练卷积神经网络的训练集；

(3)以训练集迭代训练初始化后的卷积神经网络模型，直至迭代次数达到预设次数，卷积神经网络模型训练完毕，将待测的红外相机拍摄得到的红外图像输入训练后的卷积神经网络模型，得到超分辨后的红外图像。

所述的红外可见光双分辨相机同时拥有红外成像系统和可见光成像系统，并且两个成像系统拥有平行或者相同的光轴，入射光通过分光棱镜分光后分别在两个成像系统上成像。

所述步骤(3)具体是：

(3.1)以固定的初始化方法初始化卷积神经网络模型的模型参数，使得服从特定的分布；