[发明专利]基于深度残差网络的高光谱图像超分辨率重建方法及装置

说明书

本发明公开了一种基于深度残差网络的高光谱图像超分辨率重建方法。本发明方法利用预先训练的深度残差网络进行高光谱图像的超分辨率重建；所述深度残差网络包含2^M个相同的残差块，每个残差块包含至少2个卷积层，各残差块的超参数一致，并实现权值共享，M为大于1的整数；在所述深度残差网络的前向传播过程中分别以每2^j个残差块为一组进行分组，并为每一组残差块引入一个跳跃连接，j＝1,2,…,M。本发明还公开了一种基于深度残差网络的高光谱图像超分辨率重建装置。本发明可以有效地缓解高光谱图像训练样本少、单个样本数据量大、难以训练等问题，并且在一定程度上克服了硬件制造技术与成像环境对高光谱图像分辨率的限制。

技术领域

本发明涉及一种图像超分辨率重建方法，尤其涉及一种高光谱图像超分辨率重建方法。

背景技术

高光谱遥感是当前遥感领域的前沿技术。高光谱成像设备在紫外至近红外的数百个光谱波段上进行连续地成像，采集到的高光谱图像含有丰富的空间和光谱信息，具有光谱连续、图谱合一的特性。它的每一个像元都可以提取出一条近似于连续的光谱曲线，用来反映该像元所对应地物的材料属性，因此，高光谱遥感技术在目标检测、环境监测、矿物勘探等军事或民用领域均体现出极高的应用价值。另外在医学成像中，通过高光谱成像技术获得的空间分辨光谱成像提供了关于组织生理学、形态学和组成的诊断信息。

受成像条件和光学器件的影响，在高光谱图像的获取和处理过程中存在诸多问题：(1)一般高光谱图像具有较高的光谱分辨率和较低的空间分辨率，较低的空间分辨率大大限制了高光谱图像的实际应用。从硬件上来提高高光谱图像的分辨率代价高而效果提升不大，例如对成像光谱仪精度的提高、图像尺寸的缩小、单位面积内像素采集量的增加，都受到了当前的制造水平和物理规律的制约，从硬件上提高其分辨率较为困难、耗时耗力；(2)高光谱图像容易受到外界因素的影响，获取的图像空间分辨率低且存在出现大量的混合像素，导致图像质量下降、信息丢失，而图像质量衰退的过程是不规律的，这使图像的超分辨率重建更为困难。对图像的后续处理和使用带来了一定的问题，影响了应用的可靠性与准确性。(3)针对图像超分辨率病态(ill-posed)问题，人们提出了多种正则化方法，包括基于插值的方法、基于多帧图像的方法和基于样本学习的单帧图像超分辨率方法。这些方法在灰度图像或彩色图像上取得较好的重建效果，但是直接应用于高光谱图像重建效果并不理想。

发明内容

本发明所要解决的技术问题在于克服现有技术不足，提供一种基于深度残差网络的高光谱图像超分辨率重建方法，可以有效地缓解高光谱图像训练样本少、单个样本数据量大、难以训练等问题，并且在一定程度上克服了硬件制造技术与成像环境对高光谱图像分辨率的限制。

本发明所提出的基于深度残差网络的高光谱图像超分辨率重建方法，利用预先训练的深度残差网络进行高光谱图像的超分辨率重建；所述深度残差网络包含2^M个相同的残差块，每个残差块包含至少2个卷积层，各残差块的超参数一致，并实现权值共享，M为大于1的整数；在所述深度残差网络的前向传播过程中分别以每2^j个残差块为一组进行分组，并为每一组残差块引入一个跳跃连接，j＝1,2,…,M。

根据相同的发明思路还可以得到以下技术方案：

一种基于深度残差网络的高光谱图像超分辨率重建装置，包括预先训练的深度残差网络，用于进行高光谱图像的超分辨率重建；所述深度残差网络包含2^M个相同的残差块，每个残差块包含至少2个卷积层，各残差块的超参数一致，并实现权值共享，M为大于1的整数；在所述深度残差网络的前向传播过程中分别以每2^j个残差块为一组进行分组，并为每一组残差块引入一个跳跃连接，j＝1,2,…,M。

优选地，所述深度残差网络在训练过程中所使用的训练样本通过以下方法得到：对高分辨率高光谱图像进行退化处理，得到对应的低分辨率高光谱图像；然后分别对高、低分辨率高光谱图像进行分块，每一对高、低分辨率高光谱图像块即为一个训练样本。