[发明专利]基于密集多尺度网络的RGB图像到高光谱图像重建方法

说明书

本发明公开了一种基于密集多尺度网络的RGB图像到高光谱图像重建方法，构建的改进的残差网络模型；输入图像经过1×1卷积层进行特征提取，获得特征图；在所述残差网络模型的特征映射部分，采用转换层和主网络两条支路分别对特征图进行处理；其中，转换层是在快捷连接的基础上，添加两组3×3卷积直接对特征图进行特征提取，获得第一输出特征图；所述主网络在最后一个残差块后面添加跨通道融合感受野模块，对特征图进行特征提取，获得第二输出特征图；将第一输出特征图和第二输出特征图相加，获得重建后的高光谱图像。本发明实现了RGB图像到高光谱图像的重建，重建效果优于传统算法，能够有效扩大网络的感受野，从而取得良好的重建效果。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于密集多尺度网络的RGB图像到高光谱图像重建方法。

背景技术

高光谱图像同时包含空间信息和光谱信息，不仅可以对二维场景图像进行相关操作，而且能够依据光谱响应曲线对材料进行分析，具有很高的应用价值。为了降低高空间分辨率高光谱图像的获取难度，近年来使用低成本的RGB图像重建高光谱图像成为一项重要的研究内容。

应用于RGB图像重建高光谱图像的方法主要可分为需要额外设备进行重建的方法和直接利用算法进行重建的方法。基于设备的RGB图像到高光谱图像重建方法主要包括对RGB相机系统进行修改、采用多个相机或预设成像环境等方法，增加从RGB相机中获得的光谱维信息，以降低重建难度。但也因为对设备及环境的依赖，降低了方法的通用性，同时复杂的光路系统还需要专业知识来构建与使用，增加了使用难度。基于算法进行重建的方法主要包括传统算法和基于深度学习的算法。基于深度学习的高光谱图像重建网络主要包括特征提取、特征映射和光谱重建三个部分。

在基于深度学习的RGB图像到高光谱图像重建算法中，有效的特征提取是更准确重建高光谱图像的重要前提，而感受野是影响特征提取的重要因素之一。因此，研究扩大感受野，有效提取上下文信息的深度学习网络架构对于RGB到高光谱图像的重建具有重要意义。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于密集多尺度网络的RGB图像到高光谱图像重建方法.

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例提供一种基于密集多尺度网络的RGB图像到高光谱图像重建方法，该方法为：

构建的改进的残差网络模型；

输入图像经过1×1卷积层进行特征提取，获得特征图；

在所述残差网络模型的特征映射部分，采用转换层和主网络两条支路分别对特征图进行处理；

其中，转换层是在快捷连接的基础上，添加两组3×3卷积直接对特征图进行特征提取，获得第一输出特征图；

所述主网络在最后一个残差块后面添加跨通道融合感受野模块，对特征图进行特征提取，获得第二输出特征图；

将第一输出特征图和第二输出特征图相加，获得重建后的高光谱图像。

上述方案中，所述构建的改进的残差网络模型，是以基于残差块的重建算法为基础，采用一个传统卷积层作为转换层进行基本特征的提取；其主网络由传统卷积层、1×1卷积以及多组残差块组成，其中1×1卷积用于调整通道数。

上述方案中，所述残差块包括主网络和快捷连接两个分支，主网络经过多个卷积层产生特征矩阵，与快捷连接的特征矩阵相加后激活。

上述方案中，所述主网络在最后一个残差块后面添加跨通道融合感受野模块，具体为：

(1)池化部分分别采用2×2、3×3和6×6的池化窗口对输入特征图进行下采样操作；