[发明专利]基于多尺度变换的高光谱图像超分辨率重建方法

权利要求书

1.一种基于多尺度变换的高光谱图像超分辨率重建方法，其特征在于，构建由多尺度特征提取模块和基于自适应亚像素卷积的重建模块组成的多尺度变换网络；生成高光谱图像训练集对多尺度变换网络进行训练；该方法具体步骤包括如下：

(1)构建多尺度特征提取模块：

搭建一个由三个卷积层依次串联组成的多尺度特征提取模块；其中，第一卷积层由两个结构相同的3D卷积层串联组成；两个3D卷积层的卷积核尺寸分别设置为3×3×3和1×1×1，步长都设置为1；第二卷积层由三个分支并联实现级联操作，第一分支的结构依次为：上采样模块，下采样模块；第二分支的结构依次为：下采样模块，上采样模块；第三卷积层由两个3D卷积层串联组成；两个3D卷积层的卷积核尺寸分别设置为3×3×3和1×1×1，步长都设置为1；

所述上采样模块由两个卷积层串联组成；其中，第一卷积层由3D反卷积层和3D卷积层串联组成；将3D反卷积层的卷积核尺寸设置为3×3×3，步长设置为2；将3D卷积层的卷积核尺寸设置为1×1×1，步长设置为1；第二卷积层由两个分支并联实现级联操作，第一分支的结构依次为：第一3D卷积层，第二3D卷积层，池化层，激活函数层；将第一3D卷积层的卷积核设置为Gabor小波；将第二3D卷积层的卷积核尺寸设置为1×1×1，步长设置为1；所述池化层由全局平均池化层和全局最大池化层并列组成；激活函数层采用Sigmoid激活函数实现；

所述下采样模块由两个卷积层串联组成；其中，第一卷积层由两个3D卷积层串联组成；将两个3D卷积层的卷积核尺寸分别设置为3×3×3和1×1×1，步长设置为2和1；第二卷积层由两个分支并联实现级联操作，第一分支的结构依次为：第一3D卷积层，第二3D卷积层，池化层，激活函数层；将第一3D卷积层的卷积核设置为Gabor小波；将第二3D卷积层的卷积核尺寸设置为1×1×1，步长设置为1；所述池化层由全局平均池化层和全局最大池化层并列组成；激活函数层采用Sigmoid激活函数实现；

(2)构建基于自适应亚像素卷积的重建模块：

搭建一个由输入层和重建层组成的基于自适应亚像素卷积的重建模块，其中，输入层是由两个3D卷积层串联组成；两个3D卷积层的卷积核尺寸分别设置为3×3×3和1×1×1，步长都设置为1；重建层为亚像素卷积，参数为放大倍数；

(3)构建多尺度变换网络：

搭建一个由输入层，多尺度特征提取模块组，基于自适应亚像素卷积的重建模块组成的多尺度变换网络；

所述输入层为3D卷积，卷积的卷积核尺寸为3×3×3，步长为1；

所述多尺度特征提取模块组由三个结构相同的多尺度特征提取模块串联组成；

(4)生成训练集：

(4a)选取至少30张高光谱图像，每张高光谱图像分辨率的长度H、宽度W、光谱波段数C至少为32、32、10；

(4b)对每张高光谱图像进行预处理后得到该张图像的图像对，将所有的图像对组成训练集；

(5)训练多尺度变换网络：

将训练集输入到多尺度变换网络中，采用Adam优化算法迭代更新网络参数，直到损失函数收敛为止，得到训练好的多尺度变换网络；

(6)对高光谱图像进行超分辨率重建：

将待重建的低空间分辨率高光谱图像输入到训练好的网络中，进行超分辨率重建，得到高分辨率的高光谱图像。

2.根据权利要求1所述的基于多尺度变换的高光谱图像超分辨率重建方法，其特征在于，步骤(4b)中所述预处理的步骤如下：

第一步，对每张高分辨率高光谱图像分别进行降采样系数为1，0.75，0.5倍的降采样，得到每张图像对应的三张低分辨率高光谱图像，每个低分辨率高光谱图像的分辨率为r表示降采样系数；

第二步，将预处理后的每张低分辨率高光谱图像进行归一化处理；再将归一化处理后的图像分别进行与90°，180°，270°和镜像翻转，得到与该低分辨率高光谱图像对应的四张翻转后的低分辨率图像；

第三步，对每张翻转后的低分辨率图像进行降采样，将每张降采样的低分辨率图像与高分辨率图像组成图像对。

3.根据权利要求1所述的基于多尺度变换的高光谱图像超分辨率重建方法，其特征在于，步骤(5)中所述Adam优化算法的参数设置如下：将指数衰减率分别设置为0.9和0.999，eps设定为1e-8，步长被设定为0.001。

4.根据权利要求1所述的基于多尺度变换的高光谱图像超分辨率重建方法，其特征在于，步骤(5)中所述的损失函数如下：

其中，L(·)表示损失函数，表示输入到多尺度变换网络中的第i个高分辨率高光谱图像，表示多尺度变换网络中训练输出的第k个高分辨率高光谱图像，i与k取值相等，N表示一次训练中图像的批量大小，∑表示求和操作，|·|表示取绝对值操作。