[发明专利]一种基于图像超分辨损失函数的红外图像细节增强方法

权利要求书

1.一种基于图像超分辨损失函数的红外图像细节增强方法，其特征在于包括如下步骤：

(1)准备红外图像超分辨训练数据集、红外图像超分辨测试数据集；

(2)构建基于卷积神经网络的红外图像超分辨网络结构，

(3)将红外图像超分辨训练数据集输入到步骤(2)构建的基于卷积神经网络的红外图像超分辨网络中训练，构建训练过程中的损失函数，通过不断地对红外图像超分辨网络进行循环迭代训练使损失函数不断减小，直到完成设定的迭代次数Q，并将红外图像超分辨网络进行保存；

(4)将红外超分辨测试数据集利用步骤(3)中得到的红外图像超分辨网络进行图像特征提取，得到最终的红外超分辨图像；

训练过程中的损失函数具体采用以下方式处理获得：

(1)将真实红外图片通过索贝尔算子进行卷积获得卷积后的图片：

I_s＝conv_s(I_hr) (1)

其中，I_s为卷积后的图片，conv_s为用索贝尔算子进行卷积的操作，I_hr为真实红外图片；

(2)将红外图像超分辨网络生成的红外超分辨图像、真实红外图片以及卷积后的图片均分别输入到预训练好的VGG16网络中进行特征提取：

VGG16网络包含有多个由卷积层和relu层依次构成的特征层，一个卷积层及其后面所连接的一个relu层构成了一层特征层；对于输入的图像，在VGG16网络的当前第k个relu层且k＝1,2,3,4时，k表示relu层的序号，利用下式处理获得经第k个relu层处理得到的图像特征：

F^k＝relu(conv(F^k-1)) (2)

其中，F^k-1为第k-1个relu层处理得到的特征图，conv为用卷积层做卷积操作，F^k为第k个relu层处理得到的特征图；

(3)根据红外图像超分辨网络生成的红外超分辨图像和卷积后的图片通过以下公式计算在每层特征层下的特征损失：

其中，C_kH_kW_k为所输入图像的三维的通道数，F_s^k和分别为卷积后的图片和红外图像超分辨网络生成的红外超分辨图像在第k个relu层处理得到的特征图；

(4)计算红外图像超分辨网络生成的红外超分辨图像和真实红外图片通过以下公式计算在每层特征层下的Gram矩阵：

其中，为真实红外图片在第k个relu层提取出来的特征图，h、w分别表示图像宽度和高度的序数；

然后根据每层特征层的Gram矩阵计算风格损失：

其中，F为弗罗贝尼乌斯范数；表示弗罗贝尼乌斯范数的平方，分别表示真实红外图片和红外超分辨图像在第k个relu层下特征所以计算的Gram矩阵；

(5)最后计算的第三层特征层的特征损失和前四层特征层的风格损失进行加权融合得到最终的损失函数：

其中，w₁和w₂分别为风格损失和特征损失的权重值。

2.如权利要求1所述的一种基于图像超分辨损失函数的红外图像细节增强方法其特征在于：所述基于卷积神经网络的红外图像超分辨网络包含有N个串联的卷积层和一个损失函数层。