[发明专利]红外图像增强方法及系统

说明书

本发明提出了一种红外图像增强方法及系统，其特征在于，包括以下步骤：利用卷积神经网络提取与低分辨率红外图像对应的高清可见光图像的轮廓信息；使用超像素分割神经网络对所述低分辨率红外图像进行处理，以获得高清红外图像信息；对所述高清红外图像信息与所述高清可见光图像的轮廓信息进行处理。根据本发明的红外图像增强方法，以红外和对应的可见光图像作为训练数据，通过训练得到一个可以有效恢复红外图像中物体信息的超分辨率重建网络。

技术领域

本发明涉及红外图像处理技术领域，尤其涉及一种红外图像增强方法及系统。

背景技术

红外图像反映场景的辐射特性，但受限于红外相机的成像原理和成本，红外图像通常是低像素和带有某些模糊效果，红外图像中的物体往往不够清晰，使得基于红外图像的跟踪定位十分困难，这种特性降低了红外相机的使用场景。因此提高红外图像的空间分辨率是一个亟待解决的问题。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种红外图像增强方法，以红外和对应的可见光图像作为训练数据，通过训练得到一个可以有效恢复红外图像中物体信息的超分辨率重建网络。

本发明的第二个目的在于提出一种红外图像增强系统。

为达到上述目的，本发明第一方面实施例提出了一种红外图像增强方法，包括以下步骤：S1：利用卷积神经网络提取与低分辨率红外图像对应的高清可见光图像的轮廓信息；S2：使用超像素分割神经网络对所述低分辨率红外图像进行处理，以获得高清红外图像信息；S3：对所述高清红外图像信息与所述高清可见光图像的轮廓信息进行处理，其中，在进行处理时，将所述高清红外图像信息与所述高清可见光图像的轮廓信息进行比较，将所述高清红外图像信息和所述高清可见光图像的轮廓信息的轮廓差异作为训练的损失函数，反复对所述高清红外图像的超分辨率重建的卷积神经网络参数进行更新，直到所述高清红外图像信息和所述高清可见光图像的轮廓信息的差异满足预定条件。

根据本发明的红外图像增强方法，以红外和对应的可见光图像作为训练数据，通过训练得到一个可以有效恢复红外图像中物体信息的超分辨率重建网络，并且该方法可以仅在训练阶段需要输入对应的可见光图像，一旦超分辨率重建模型训练完成，红外图像的恢复将会非常容易，红外图像中物体的细节也能得到很好的恢复。

另外，根据本发明上述实施例的红外图像增强方法还可以具有如下附加的技术特征：

根据本发明的一个实施例，训练所述卷积神经网络，并利用训练好的所述卷积神经网络提取所述高清可见光图像的轮廓信息。

根据本发明的一个实施例，训练所述卷积神经网络包括以下步骤：S11：收集所述高清可见光图像的数据集以及对应的已标注的真实边缘信息；S12：将所述可见光数据集分为训练数据、测试数据和验证数据；S13：改进所述卷积神经网络用于边缘提取任务；S14：利用所述训练数据，所述测试数据对该模型进行迭代优化，直到满足终止条件。

根据本发明的一个实施例，改进所述卷积神经网络包括以下步骤：S131：采用U型网络作为改进的基础模型；S132：在所述U型网络的每次反卷积操作之前，引入全卷积层，以获得不同尺度的分割图像；S133：将不同尺度下得到的分割图像进行加权叠加，以获得最终的所述高清可见光图像的轮廓信息。

根据本发明的一个实施例，所述低分辨率红外图像进行处理，以获得高清红外图像信息包括以下步骤：S21：收集低分辨率的红外图像；S22：使用SRCNN网络进行红外图像的超分辨率重建，并获得最终的高分辨率红外图像。

根据本发明的一个实施例，对所述高清红外图像信息与所述高清可见光图像的轮廓信息进行处理时，包括以下步骤：S31：调整所述高清红外图像信息以使红外图像的尺寸与所述可见光图像的轮廓信息对应的尺寸相同；S32：利用提取所述高清可见光图像的轮廓信息的卷积神经网络提取高清红外图像信息。