[发明专利]基于优化启发的神经网络的光谱成像系统的成像方法

说明书

本发明公开的基于优化启发的神经网络的光谱成像系统的成像方法，属于计算摄像学领域。本发明实现方法为：建立光谱成像系统的前向传播模型，用网络实现所述前向传播模型，构建编码孔径优化网络；构建基于优化启发的、并同时考虑高光谱图像空间相关性和光谱相关性的高光谱图像重构网络；制作训练集；配置高光谱图像重构网络训练所需参数；训练高光谱图像重构网络；建立编码孔径优化网络与高光谱图像重构网络之间的连接，构建联合网络；配置联合网络训练所需参数；训练联合网络；取出训练后得到的编码模板，并基于CASSI系统成像过程完成由高光谱图像到二维压缩图像的调制；使用训练得到的高光谱图像重构网络逐块重构目标高光谱图像。

技术领域

本发明涉及用于光谱成像系统的高光谱图像成像方法，尤其涉及能够获取高质量高光谱图像的方法，属于计算摄像学领域。

背景技术

不同于传统的RGB成像或全色成像，光谱成像将场景捕获为三维张量，其在光谱维对场景每个像素位置处的光谱信息进行更精细的采样。光谱成像获得的高光谱图像中富含丰富的光谱信息，这一特点使其在遥感、医学成像、视觉检查、污水检测、植被研究、大气监测等领域相比于传统成像技术更具有优势，因此正在被越来越广泛地投入应用。

由于高光谱图像是三维张量，而目前使用的成像传感器是二维的，因此必须逐点或逐行扫描光谱信息。但是这种高光谱成像过程是非常耗时的并且仅限于静态场景。为了捕获动态场景，已经提出各种快照高光谱成像系统设计和算法。在这些系统中，由AshwinWagadarikar等人提出的基于压缩感测理论的编码孔径快照光谱成像仪(Coded ApertureSnapshot Spectral Imager,CASSI)作为一种有前景的解决方案脱颖而出。CASSI将入射光编码到快照成像传感器上，得到三维高光谱数据的二维压缩图像。再使用优化算法将二维压缩图像重建为三维张量。

但是，由二维压缩图像重建为三维张量是一个严重欠定的问题，且CASSI系统的压缩采样性对重建过程有很大影响。因此，为了提升CASSI系统的精确度，需同时考虑成像过程和计算重建过程。但是，目前的方法主要是分开考虑成像过程和计算重建过程。

在成像过程中，为了更加有效地采集高光谱图像信息，已经提出不同的编码孔径优化方法。对于CASSI系统，在探测器和色散介质确定的情况下，观测矩阵被实体的编码孔径唯一确定。编码孔径初始采用随机二进制的设计方法，但是这种设计方案并没有充分利用CASSI系统感知机制的结构，这导致重建的结果是次优的。Arguello等人基于分析观测矩阵的等距特性优化编码孔径，提出将编码孔径优化问题转化为秩最小问题，并采用通用算法求解。但是此方法侧重于光谱的选择，只适用于多帧系统。

随着微光刻技术和涂层技术的发展，彩色编码孔径被引入到CASSI系统中。Parada-Mayorga分析观测矩阵的相干性，并提出彩色编码孔径图的优化等价于相干最小化问题。Ramirez和Arguello提出观测矩阵的Gram矩阵的实体分布模型，设计彩色编码孔径使矩阵的方差最小。然而对于这些方法，在优化开始之前需要一个确定的稀疏基。最近的研究表明，固定稀疏矩阵会产生超优重建结果。相反，盲压缩感知和在线字典学习方法显示出了更高质量的性能，因为这些方法可以根据场景特征自适应地学习稀疏基。从这个意义上说，在成像前是没有稀疏基的，因此不能用来设计编码孔径。

在计算重建过程中，由二维压缩图像重建为三维张量是一个严重欠定的问题。为了解决严重欠定的重建问题，已经提出各种正则化器来引入图像先验，如总变差(TV)、稀疏性和非局部相似度(NLS)。并且在求解数据项时，为了限制解空间，对引入的图像先验进行解析表示。然而，这些手工制作的图像先验通常不足以模拟现实世界的各种光谱信息。此外，为了处理目标场景的各种特征，基于这些手工制作的先验的优化需要手动调整其权重参数。