[发明专利]基于多尺度变换的高光谱图像超分辨率重建方法

说明书

本发明提出了一种基于多尺度变换的高光谱图像超分辨率重建方法。实现步骤为：构建生成器网络；构建多尺度特征提取模块；构建基于自适应亚像素卷积的重建模块；构建多尺度变换网络；生成训练集；训练多尺度变换网络；对高光谱图像进行超分辨率重建。本发明利用多尺度变换网络，克服了现有技术在特征提取阶段提取特征单一和难以对输入的抽象先验信息进行充分表达重建的问题，使得本发明提高了对高光谱图像不同波段特征间的非线性学习能力，使重建得到高分辨率高光谱图像更加清晰，以及提升了对于高光谱图像纹理细节和边缘特征重建的能力。

技术领域

本发明属于图像处理技术领域，更进一步涉及图像重建技术领域中的一种基于多尺度变换的高光谱图像超分辨率重建方法。本发明可用于高光谱图像的提高空间分辨率。

背景技术

由于卫星轨道距离遥远且成像系统受限于整个成像系统的体积及存在系统稳定性、时间分辨率的需求，在高光谱图像进行采集、保存和链路回传之后，得到高光谱图像空间分辨率往往较低，所以对高光谱图像的空间分辨率的进行提升具有非常重要的科学意义和研究价值。因此，重构出细节信息更为丰富的高空间分辨率高光谱图像尤为重要。

南昌工程学院在其申请的专利文献“基于深度残差网络的高光谱图像超分辨率重建方法及装置”(专利申请号：201811094851.1，申请公开号：109345476A)中提出了一种高光谱图像超分辨率重建方法。该方法采用三维卷积神经网络来构建深度残差网络，并且每个残差块都具有一个从该残差块输入到该残差块输出的跳跃连接，除此以外，在所述深度残差网络的前向传播过程中还分别以2、4个残差块为一组进行分组，并为每一组残差块引入一个跳跃连接。该方法虽然考虑到了用深度残差网络提高了高光谱图像超分辨重建的效果，但是，该方法仍然存在的不足之处是，该方法的网络深度过深，有可能导致网络难以训练甚至梯度消失的问题，并且残差网络的级联形式抑制了模型对于先验知识的非线性学习能力，使得重建得到的高分辨率高光谱图像失真严重。

上海理工大学在其申请的专利文献“一种三维FSRCNN的高光谱图像超分辨率重建算法”(专利申请号：202010524538.8，申请公开号：111696043A)中提出了一种高光谱图像超分辨率重建方法。该方法提供了一种三维FSRCNN的高光谱图像超分辨率重建算法，在已有的二维卷积模型的基础上提出了一种新的3D-FSRCNN的三维卷积模型。该方法采用三维卷积能够通过探索相邻区域的空间背景和相邻波段的光谱相关性重构出高空间分辨率的目标图像，可有效地减轻光谱失真现象。该方法虽然考虑到了使用三维卷积利用了相邻区域的空间背景和相邻波段的光谱相关性，但是，该方法仍然存在的不足之处是，该方法在提取特征时仅使用了一个三维卷积，不能从低分辨率高光谱图像中获取更多具有相似性的图像特征信息，使得重建得到的高分辨率高光谱图像的高频细节信息会发生丢失。

发明内容

本发明的目的在于针对上述现有技术存在的不足，提出了一种基于多尺度变换的高光谱图像超分辨率重建方法，用于解决高光谱图像重建失真严重和高频细节信息丢失的问题。

为实现上述目的，本发明的思路是，构建多尺度特征提取模块，在网络所包含的上下采样模块中引入3D卷积层和基于小波变换的空间注意力机制用于不同尺度的特征生成，使得网络更有利于提取高光谱图像的特征，从而可以解决高光谱图像重建失真严重的问题。其次，在最终的图像重建阶段，通过针对高光谱图像多通道特性设计的自适应亚像素卷积模块进行图像上采样重建，优化了图像纹理细节和边缘特征的重建，有效解决重建图像高频细节信息丢失的问题。

本发明的具体步骤包括如下：

(1)构建多尺度特征提取模块：