[发明专利]一种基于迁移学习的红外图像超分辨率重建方法

说明书

本发明涉及图像超分辨率重建技术领域，具体地说是一种基于迁移学习的红外图像超分辨率重建方法，包括构建全局网络，在两个相邻的局部蒸馏模块之间采用差值算法，获取图像的高频信息，在局部模块之间采用级联连接，保留图像的低频信息和采用预训练网络与微调网络的迁移学习策略，本发明同现有技术相比，根据迁移学习的思想，通过构建了特征蒸馏网路、提炼分支、局部蒸馏模块差值算法和训练内容，利用小样本红外图像集，重建出高质量的红外图像。

技术领域

本发明涉及图像超分辨率重建技术领域，具体地说是一种基于迁移学习的红外图像超分辨率重建方法。

背景技术

由于外界环境或采集设备的影响，所获取图像往往呈现分辨率低、细节损失等问题，并随着用户视觉体验及应用需求的增加，对低分辨率图像进行处理至关重要。

图像超分辨率重建算法根据不同原理可以大致分为基于插值、基于建模和基于学习三种方法，基于插值的代表算法主要有最近邻插值法、双线性插值法和双立方插值法，这类算法都是基于图像的灰度是连续的假设条件之下，因此在一些灰度变化不连续的诸如图像边缘等位置，其局部变现和纹理结构不明显，导致图像有些模糊。基于建模较为经典的方法有迭代反向投影法、凸集投影法和最大后验概率法等，此类方法操作简单，易于实现，并且适用于多种成像模型，但难于收敛，实时性较差。难以处理模糊现象，对先验知识的利用也不足。因此，近年来随着深度学习在计算机视觉领域的广泛应用，基于深度学习的图像超分辨率算法已成为主流方法。

然而，基于深度学习的神经网络在训练时往往需要充足的数据集作为支撑，基于深度学习的图像超分辨率网络也是如此。但是，由于成像设备的分辨率不高以及昂贵的价格，且在拍摄图像时受外界环境的影响，使得难以获取充足的高分辨率红外图像集。因此如何通过小样本红外图像集，通过图像超分辨率算法获取经济有效的高质量红外图像称为了一个亟需解决的问题。

因此，需要设计一种基于迁移学习的红外图像超分辨率重建方法，利用小样本红外图像集，通过迁移学习的方法实现高性能的红外图像超分辨率重建。

发明内容

本发明的目的是克服现有技术的不足，提供了一种基于迁移学习的红外图像超分辨率重建方法，利用小样本红外图像集，通过迁移学习的方法实现高性能的红外图像超分辨率重建。

为了达到上述目的，本发明提供一种基于迁移学习的红外图像超分辨率重建方法，包括以下步骤：

S1：构建全局网络，主要由浅层特征提取层、局部蒸馏模块为核心的非线性映射层和上采样层组成，上采样层采用sub-pixel函数对提取的特征图像进行放大；

S2：在两个相邻的局部蒸馏模块之间采用差值算法，获取图像的高频信息；

S3：在局部模块之间采用级联连接，保留图像的低频信息；

S4：在训练阶段，采用预训练网络与微调网络的迁移学习策略。

S1的具体步骤为：

S2-1：在浅层特征提取层中，仅采用一个3×3卷积来提取浅层特征；

S2-2：在非线性映射层中，通过特征蒸馏模块，该模块将提取的浅层特征进行两分支处理；其中一个分支为蒸馏分支，采用1×1卷积对浅层提取的特征进行处理，保留部分粗糙的特征至后续的连接层；另一分支为提炼分支，采用非对称扩张卷积残差块来进一步提炼出细致的特征；对于非对称扩张卷积残差块，是将1×3卷积与3×1卷积进行串联连接，并对第一个卷积的输入采用恒等连接，之后采用Relu函数对该残差块进行激活；

两个分支分别进行三次迭代，并且在提炼分支的末端采用带有扩张卷积的非对称扩张卷积残差块进行并行连接，用来扩大网络的感受视野；将两个分支提取的特征在通道维度进行特征连接后，采用通道混洗机制，增加通道间的信息交互能力；在局部蒸馏模块的末端引入增强型空间注意力机制，重新校准融合特征的权重。