[发明专利]一种基于边缘锐化的红外图像超分辨方法

说明书

本发明公开了一种基于边缘锐化的红外图像超分辨方法。利用红外摄像机获得红外图像，建立红外超分辨神经网络结构，网络包括图像处理和图像边缘处理两个子网络，针对于输入网络的红外图像，图像处理网络主要用于恢复图像的结构信息，边缘处理网络用于恢复图像的细节边缘信息；其中图像处理网络分为两个阶段，第一阶段实现红外图像去噪并且实现图像的结构信息恢复，第二阶段实现图像超分辨并实现更多的图像细节结构信息恢复。本发明基于数字红外图像超分辨的要求，通过图像结构和边缘信息的分别处理实现了高倍率的红外图像超分辨。

技术领域

本发明属于数字成像技术领域的红外图像超分辨算法，具体涉及一种基于边缘锐化的红外图像超分辨方法。

技术背景

随着红外探测技术的发展，采用红外成像技术进行目标识别，提高对目标的智能探测和检测识别能力，在对红外图像的探测过程中，受到目标的边缘轮廓特征干扰的影响，导致红外图像的输出质量不好，降低了目标单帧红外图像的识别和检测能力。

高分辨率图像可以提供比其对应的低分辨率图像更多的细节。这些细节在所有领域都应该是至关重要的。由于硬件设备的局限性，超分辨已广泛应用于许多成像设备。超分辨是在不改变镜头焦距的情况下，把图像进行了数字放大，因此导致了图像质量的下降：然而，图像处理算法(例如图像插值)除锯齿和模糊伪像外不会产生高质量图片。为解决这个问题，过去的几十年中已经提出了许多的改进算法。例如使用插值来增加输入图像的空间分辨率，基于内插的恢复方法旨在搜索相邻像素之间的连接并且逐个填充缺失像素函数或内插核等等。虽然它在低计算复杂度下具有快速处理时间，但是逐步运算的方法不能保证估计的准确性，尤其是在存在噪声的情况下。有些文献提出用神经网络的方法对红外图像进行超分辨，但由于红外图像噪声偏大导致输出图像质量并不高。

发明内容

为了解决背景技术中的问题，本发明提供了一种基于边缘锐化的红外图像超分辨方法，提升了红外图像超分辨的成像质量，针对不同放大倍率图像进行设计，在利用红外图像边缘和锐化进行修复的方式上提出了新的方法。

本发明基于神经网络，在网络中间进行图像的去噪和图像细节的恢复，通过对图像的边缘进行提取以加强图像的细节信息，并且对图像进行锐化处理使输出的图像细节更加丰富。

本发明采用的技术方案包括以下步骤：

步骤1：选取红外相机对场景或对象进行拍摄获得的红外图像和其对应的训练目标图像作为训练集；

步骤2：建立红外图像超分辨神经网络，红外图像超分辨神经网络结构包括图像处理子网络和图像边缘处理子网络；

步骤3：将训练集输入红外图像超分辨神经网络进行训练；

步骤4：将用红外相机对场景或对象进行拍摄获得的待修复红外图像输入步骤3训练后的红外图像超分辨神经网络，得到待修复红外图像的超分辨图像。

所述步骤2具体为：

2.1)图像处理子网络包括阶段一和阶段二两个阶段；

将红外图像输入阶段一进行多组卷积操作后提取的特征和输入的红外图像逐像素相加，获得通过高斯去噪后的模糊图像并恢复红外图像的低频信息；

将阶段一获得的高斯去噪后的图像输入阶段二继续进行多组卷积操作，恢复红外图像的高频信息；

2.2)将红外图像输入图像边缘处理子网络进行卷积操作，提取红外图像的边缘细节特征生成边缘图像；

2.3)将步骤2.2)生成的边缘图像和步骤2.1)阶段二的处理结果进行逐像素相加生成最终的输出图像，即得红外图像的超分辨图像。

所述步骤1中的训练目标图像为：

训练目标图像一：对红外图像进行模糊核为7、方差为3的高斯模糊处理以实现图像的去噪，作为步骤2.1)中图像处理子网络阶段一的训练目标图像；