[发明专利]一种基于深度学习的红外图像超分辨率重建方法

权利要求书

1.一种基于深度学习的红外图像超分辨率重建方法，其特征在于，步骤如下：

步骤1、采集一段红外视频，将其分为若干帧红外图像，转入步骤2；同时基于通道注意力机制残差学习图像超分辨率重建算法，建立低分辨率图像与高分辨率图像之间的关系模型，转入步骤3；

步骤2、将若干帧红外图像分别进行图像增强预处理，获得各帧对应的增强图像R(x，y)，转入步骤4；

步骤3、利用可见光数据集学习低分辨率图像与高分辨率图像之间的关系模型，获得图像超分辨率重建模型，转入步骤4；

步骤4、将各帧对应的增强图像R(x，y)依次输入图像超分辨率重建模型，进行超分辨率重建，从而得到分辨率更高的红外图像，转入步骤5；

步骤5、将各帧重建后的红外图像进行整合输出，得到信息更为丰富的红外图像视频；

步骤1中，基于通道注意力机制残差学习图像超分辨率重建算法，建立低分辨率图像与高分辨率图像之间的关系模型，具体步骤如下：

选择任意一个标准数据集，将所述标准数据集中的高分辨率图像I_HR进行下采样获得低分辨率图像I_LR，通过卷积层C₁得到第一中间变量F₀，F₀通过若干个基于通道注意力机制的残差学习块H_B得到第二中间变量F_b，再通过一个卷积层C₂得到第三中间变量，第三中间变量与F₀相加得到第四中间变量F_DF，最后通过一个上采样层和一个卷积层C₃获得超分辨率图像I_SR，将I_SR与用于训练的高分辨率图像I_HR进行比较，通过反向传播过程修改低分辨率图像重建的模型参数的权重，通过多次学习最终获得泛化能力较高的深度学习模型，即低分辨率图像与高分辨率图像之间的关系模型，具体计算公式如下：

F_b＝H_BF_b-1；

其中为卷积层C₃的函数；H_UP为上采样层函数；卷积层C₂的函数，为卷积层C₁的函数，F_b-1为第五中间变量；

所述基于通道注意力机制的残差学习块H_B，具体计算如下：

输入数据第五中间变量F_b-1通过一个卷积层W_b-1，1、一个ReLU层、一个卷积层W_b-1，2得到第六中间变量X_b-1，再通过由一个全局池化层、一个卷积层W_b-1，3、一个ReLU层、一个卷积层W_b-1，4和一个激活函数组成的通道注意力机制结构，获得第七中间变量s，s与第六中间变量X_b-1进行卷积得到第八中间变量X_b，将X_b与F_b-1相加得到第二中间变量F_b，具体公式如下：

F_b＝F_b-1+X_b；

X_b＝X_b-1*s；

s＝f(W_b-1，4δ(W_b-1，3Z))；

Z＝H_GP(X_b-1)；

X_b-1＝W_b-1，2δ(W_b-1，1F_b-1)；

其中，H_GP为全局池化函数，Z为经过全局池化函数之后的第九中间变量，f为sigmoid激活函数，δ为ReLU函数；

步骤2中将若干帧红外图像分别进行图像增强预处理，获得增强图像R(x，y)，具体包括以下步骤：

步骤2-1、分别获取若干帧红外图像的像素；

步骤2-2、利用基于Retinex的图像增强算法对红外图像进行预处理，公式如下：

I(x，y)＝L(x，y)*R(x，y)；

I为红外图像，L为环境光的照射分量，R为携带图像细节的目标本身的反射分量，即为增强图像；环境光的照射分量L不能直接获得，通常利用高斯模糊来代替，公式如下：

其中，G(x，y)表示一个高斯核。