[发明专利]一种基于深度学习的红外图像增强方法

权利要求书

1.一种基于深度学习的红外图像增强方法，其特征在于，包括如下步骤：

S1，采集不同场景的红外图像对获得数据集，将数据集划分为训练样本集与测试样本集；

S2，将S1得到的训练样本集进行数据增强；

S3，通过引入残差结构、通道注意力机制以及空间注意力机制构建红外图像增强网络；

S4，将S2得到的训练样本集监督训练红外图像增强网络，获得红外图像增强模型；

S5，将红外测试图像输入至S4训练完成的红外图像增强模型，获得增强后的红外图像。

2.根据权利要求1所述的一种基于深度学习的红外图像增强方法，其特征在于，S1中所述的采集不同场景的红外图像对为：

固定红外热成像相机拍摄位置与角度，选择不同的场景分别采集红外图像对，所有的红外图像对形成数据集，并按照设定的比例将数据集划分为训练样本集与测试样本集。

3.根据权利要求1所述的一种基于深度学习的红外图像增强方法，其特征在于，S2中所述的数据增强包括如下过程：

步骤一，利用滑动窗口裁剪算法对原始图像对进行裁切，固定并减小红外图像尺寸，且使得图像长宽相等；

步骤二，采用图像翻转、图像亮度变换、图像尺度缩放等方式对切割后的图像进行数据增强。

4.根据权利要求1所述的一种基于深度学习的红外图像增强方法，其特征在于，S3中所述构建的红外图像增强网络包括如下：

图像特征提取部分是利用3个卷积层进行红外图像特征的提取，得到3个特征图；其中所述的卷积层后面均使用relu激活函数，relu激活函数的数学表达式如下：

接着利用通道注意力机制与空间注意力机制筛选第三个特征图；其中通道注意力所涉及全连接层使用卷积核为1×1的卷积层代替，所涉及的激活函数使用sigmoid激活函数，其数学表达式如下：

接着利用残差结构融合特征图，使得特征图含有丰富的细节信息以及语义信息；

接着利用反卷积层实现图像上采样，使得特征图分辨率与输入图像一致；

最后利用两个卷积层进一步学习与重组图像特征，其中最后一个卷积后面使用tanh激活函数，tanh激活函数的数学表达式如下：

其中，卷积后面增加批量归一化层，基于归一化使得特征服从单位高斯分布，同时通过γ和β两个超参数进一步缩放和平移归一化后的特征。

5.根据权利要求1所述的一种基于深度学习的红外图像增强方法，其特征在于，S3中所述的残差结构的数学表达式为：

其中，x和y分别表示输入和输出，表示特征提取层；通过引入残差结构融合红外图像增强模型的第一层卷积层提取的特征和第三层卷积层提取的特征；

S3中所述的通道注意力机制是利用全局平均池化操作将第三个卷积层提取的特征图压缩成特征向量，特征向量维度为特征图的通道数量，计算每一通道特征的均值，其数学表达式为：

其中，H和W分别表示特征图的高和宽，表示坐标（i，j）的特征值；

S3中所述的空间注意力机制的步骤为：

S31，统计与计算特征所有通道同一空间坐标的最大值与均值，分别生成两通道特征图，将两张特征图进行通道拼接；

S32，利用一个卷积层和sigmoid函数学习每一个空间坐标的重要性权重；

S33，将重要性权重与输入特征相乘完成从空间区域上筛选特征。

6.根据权利要求1所述的一种基于深度学习的红外图像增强方法，其特征在于，S4中所述的训练过程的超参数设置如下：

（1）初始学习率lr为1e-3，通过如下公式等间隔调整学习率：

其中，x表示迭代周期，γ调整倍数设置为0.1，调整间隔设置为30；即每30个迭代周期学习率下降10倍；

（2）优化算法选择Adam优化算法，其中beta1、beta2参数分别设置为0.9和0.999；

（3）批次大小batch_size设置为32，总的迭代周期EPOCH设置为100，设定训练样本总数为S，最大迭代次数N如下所示：

。

7.根据权利要求1所述的一种基于深度学习的红外图像增强方法，其特征在于，S4中所述的监督训练过程如下：

S41，输入设定尺寸的红外图像，经过归一化的处理之后，输入第一个卷积层获得分辨率为输入图像的1/2的特征图；

S42，接着再利用两个卷积模块进一步提取深层特征，并利用通道注意力机制对提取的深层特征从特征通道数上进行筛选，以及利用空间注意力机制对提取的深层特征从特征空间尺寸上进行筛选，从而保留特征中有效信息，并抑制特征中的背景噪声；

S43，利用残差结构融合浅层特征与深层特征，获得语义信息与细节信息丰富的特征图；

S44，将融合后的红外图像特征进行反卷积操作调整特征尺寸和输入图像一致，并增加两层特征层对融合后的红外图像特征进一步地学习与重组，输出增强后的红外图像；

S45，计算增强后的红外图像相对于参考红外图像的损失值，损失函数使用均方误差函数，该均方误差函数的数学表达式为：

其中，m表示批量大小，W和H表示图像长和宽，表示参考红外图像坐标点（i，j）的像素值，表示预测的增强后的红外图像坐标点（i，j）的像素值；

S46，根据计算的损失值，反向计算梯度更新红外图像增强网络的参数；

S47，重复上述步骤，直至训练次数达到设定的最大迭次数N后停止训练；保存训练好的红外增强模型。