[发明专利]基于自注意力机制的光谱超分辨率重建方法及系统

说明书

本发明公开了一种基于自注意力机制的光谱超分辨率重建方法及系统，本发明包括对输入的RGB图像X进行特征提取得到空谱浅层特征，再输入多阶段光谱超分辨率重建网络MSCT得到重建高光谱图像H；多阶段光谱超分辨率重建网络MSCT由多个级联连接的单阶段光谱超分辨率重建网络SCT以及卷积操作模块连接构成，所述单阶段光谱超分辨率重建网络SCT包括依次相连的编码器模块、瓶颈模块和解码器模块构成的支路，以及连接在编码器模块和解码器模块之间的通道特征交叉融合模块CCT。本发明能够有效实现从高空间分辨率的RGB图像重建得到高空间分辨率的高光谱图像，具有模型轻量化、重建精度高和重建速度快的优点。

技术领域

本发明属于光谱超分辨率重建技术领域，具体涉及一种基于自注意力机制的光谱超分辨率重建方法及系统。

背景技术

高光谱成像以窄带记录现实世界的场景光谱，其中每个波段捕获特定光谱波长的信息，与普通RGB图像相比，高光谱图像具有更多通道，储存了更丰富的场景信息，基于这一特点，高光谱图像在遥感、医学诊断、目标检测等领域有广泛的应用。传统成像系统通常通过沿空间或光谱维度扫描场景的光谱仪来获取高光谱图像，包括摆扫式、推扫式和带序扫描仪，然而扫描过程极为耗时，且成像设备常常因物理尺寸较大而无法嵌入便携式平台中使用。快照压缩成像（SCI）系统能够解决上述难题，其通过编码孔径掩膜对成像场景的各光谱通道进行调制来生成二维快照估计图，再经过重建算法获取高光谱图像，但对于消费级使用者而言该系统仍然过于昂贵，“低成本”的SCI系统也往往需要一万至十万美元的开销，且调制过程中容易引入大量噪声，这依旧限制了高光谱图像的应用。现有的RGB图像成像设备可快速获取高空间分辨率的RGB图像且使用成本低廉，故直接由RGB图像进行光谱通道重建是一种可行方法。该技术利用光谱自注意力机制捕捉光谱通道间的内在联系，并借助通道交叉融合注意力机制融合特征中的有用信息，显著提升了高光谱图像重建精度，大大降低了高光谱图像的获取难度。目前获取高光谱图像的途径主要有两种，一种是通过融合成像方法，一种是通过光谱超分辨率方法。融合成像方法通过融合低空间分辨率高光谱图像和高空间分辨率多光谱图像来得到高分辨率高光谱图像，但低空间分辨率的高光谱图像依旧获取困难，故该方法实用效益较低。光谱超分辨率方法能够直接从RGB图像重建得高光谱图像，高光谱图像具有空间维稀疏和光谱维自相似的特点，但现有的光谱超分辨率方法主要基于卷积神经网络，其通过卷积操作提取特征的方式主要针对空间维，对光谱通道间的自相似性和依赖关系的捕捉能力不足，极大程度上限制了重建效果。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于自注意力机制的光谱超分辨率重建方法及系统，本发明能够有效实现从高空间分辨率的RGB图像重建得到高空间分辨率的高光谱图像，具有模型轻量化、重建精度高和重建速度快的优点。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于自注意力机制的光谱超分辨率重建方法，包括：

S101，对输入的RGB图像X进行特征提取得到空谱浅层特征H₀；