[发明专利]基于自注意力和深度卷积并行的高光谱重建方法

说明书

本发明公开了基于自注意力和深度卷积并行的高光谱重建方法，属于计算机视觉图像处理技术领域。包括以下步骤：在编码阶段，利用CASSI光学系统进行压缩采样得到二维测量值，再经过反转色散过程，获得初始化信号；解码阶段，采用本方法提出的基于transformer和CNN并行架构的重建算法将2D压缩图像重建为3D高光谱图像，通过训练网络学习二维压缩测量数据到原始数据的逆变换，进一步使用训练好的模型重建压缩感知高光谱图像，实现了压缩感知高光谱图像的快速、精确重建，与传统迭代重建算法相比，在重建质量上有所提高，并且在重建高光谱数据上的计算时间上有显著提高，远快于传统算法。

技术领域

本发明属于计算机视觉图像处理领域，具体涉及基于自注意力和深度卷积并行的高光谱重建方法。

背景技术

高光谱成像是近年来计算机视觉领域的一个热门研究方向，但高维高光谱数据的存储和传输带来了挑战。为了应对这个问题，压缩感知成为一种新兴的采样方法，它通过线性投影同时采样和压缩信号，从而降低了数据的编码复杂度。压缩感知的目标是利用少量的压缩测量来重建原始高维信号，以实现高光谱数据的有效传输和处理。

传统的压缩感知采样方法使用固定的变换函数和有限尺寸的光学编码器对高维信号进行采样和压缩。然后，经典的重建算法依赖于信号在某种变换域具有稀疏性的假设，通过求解稀疏编码问题来还原原始信号。然而，这些传统方法需要耗费大量时间来进行迭代优化，并且在低采样率下重建质量较差。近年来，受深度学习方法的启发，学者们提出了基于深度学习的压缩感知图像重建方法。这些方法通过数据驱动的方式，让深度神经网络直接学习从稀疏先验到深度网络先验的映射关系，从而实现从稀疏先验到深度网络先验的转变。通过这种方式，重建过程更加高效，并且在低采样率下也能获得更好的重建质量。

这种基于深度学习的方法，主要采用掩模和偏移测量之间的内积作为输入。该方法破坏了输入的高光谱信息，并且没有充分探索掩码的引导效果，导致改进有限。近年来，Transformer已被引入计算机视觉领域。Transformer中的多头自注意模块擅长捕捉非局部相似性和长期依赖性。这一优势可以很好的解决高光谱图像重建中上述基于深度学习方法的局限性。虽然已经获得较好的重建效果,但重建性能仍有较大的提升空间，仍需要进行进一步研究。

上述现有技术还存在以下问题：

1.高光谱图像具有丰富的图像信息。在计算自我注意力时，如果没有足够指导的原始Transformer可能很容易处理许多低保真度和信息量较小的图像区域，这可能会降低模型效率，从而影响特征提取的能力。

2.高光谱图像具有丰富的图像信息。虽然Transformer局部窗口自我注意在视觉任务中表现显著，但它仍存在接受域有限和建模能力弱的问题。

发明内容

本发明针对现有技术中的问题，提供了基于自注意力和深度卷积并行的高光谱重建方法，显著提高光谱图的重建质量，并且在计算时间上比传统算法更有优势。为解决以上技术问题，本发明提供如下技术方案：基于自注意力和深度卷积并行的高光谱重建方法，包括如下步骤：

S1、编码阶段：对原始高光谱图像压缩采样得到的二维测量值Y进行反转色散，将该二维测量Y值向后偏移，获得初始化信号；

S2、解码阶段：包括：

S2-1、构建基于transformer和CNN并行架构的编码器，将初始化信号输入至该编码器中提取特征并融合，得到特征图；

S2-2、将特征图输入至瓶颈网络中，进一步提取特征并融合，得到最终特征图；

S2-3、将最终的特征图输入至解码器中得到重建后的高光谱图像。

进一步地，前述的步骤S1包括如下子步骤：

S101、利用CASSI光学系统中二维编码孔径M对原始高光谱图像预设波长的HSI信号进行编码得到 ，如下式：

 ，