[发明专利]基于迁移学习的高光谱图像超分辨率方法

说明书

技术领域

本发明属于图像处理技术领域，特别涉及一种高光谱图像超分辨率方法。

背景技术

随着遥感技术和成像光谱仪的发展，高光谱遥感图像的应用越来越广泛。高光谱遥感图像具有很多的光谱波段，它以牺牲空间分辨率为代价换取高的光谱分辨率，这给高光谱图像的数据处理如精准匹配、光谱解混和目标检测识别等技术带来了巨大的困难。例如，图像空间分辨率低，可视化辨识度低，造成地物混合现象严重，即存在多种地物类别混合的像元。可以说，空间分辨率已经成为高光谱图像应用效果的主要制约因素。因此，在保证原始低分辨率图像地物分布不变的情况下，提高高光谱图像的分辨率，增强图像中地物的辨识度是非常有必要的。

高光谱超分辨重建是从低分辨率高光谱图像中重建出相应的高分辨率高光谱图像，不仅能大大提高高光谱图像的空间分辨率，而且能有效地改善图像的可视化效果，具有重要的研究意义。然而，由于低分辨率图像和高分辨率图像都是同一场景，因此重建的高分辨率图应该具有和低分辨率图像相同的地物分类，这是高光谱图像超分辨率有别于自然图像超分辨率的特殊性。

近年来研究学者提出很多高光谱超分辨率的方法。这些方法大多依赖一个假设：已知相同场景的辅助图像。辅助图像可以是同一场景下不同时间拍摄的高光谱图像序列，也可以是一个高空间分辨率但低光谱分辨率的遥感图像，例如全色图像和多光谱图像。研究学者充分利用辅助图像提供的高空间分辨率信息，结合低分辨率高光谱的光谱信息，重建出高空间分辨率和高光谱分辨率的图像。这类方法利用了多源数据间的互补信息，所以具有较好的超分辨率复原能力。N.Akhtar等人在文献“N.Akhtar,F.Shafait,and A.Mian,“Sparse spatio-spectral representation for hyperspectral image super-resolution,”European Conference on Computer Vision,2014,pages 63-78.”中提出基于稀疏空谱表达的高光谱超分辨率方法，通过建立辅助图像和低分辨率高光谱图像的稀疏表达，在空谱空间实现辅助空间信息和光谱信息的融合。然而，在实际应用中，我们很难得到同一场景的辅助遥感图像。同时，这类方法依赖辅助图像和低分辨率高光谱图像的配准精度，图像的配准误差容易造成超分辨率图像的模糊。因此，现有方法在应用上受到了很大的限制，仍未达到令人满意的效果。

发明内容

本发明的目的在于针对上述现有方法的不足，提出一种基于迁移学习的高光谱图像超分辨率方法，能够解决原始高光谱图像训练数据过少、无法训练深度神经网络的问题，提高高光谱图像的空间辨识力，克服高光谱图像空间分辨率受限的问题。

实现本发明目的的技术方案如下：

基于迁移学习的高光谱图像超分辨率方法，包括以下步骤：

(1)在自然图像的数据库上训练卷积神经网络，学习低分辨率图像到高分辨率图像的映射关系，即得到深度神经网络；

(2)在测试的高光谱图像上，根据学习到的深度神经网络，逐个波段生成相应的高分辨率图像；

(3)根据低分辨率图像和高分辨率图像具有相同地物分布的特性，建立协同矩阵分解，对低-高分辨率图像进行相同地物约束；

(4)根据协同矩阵分解得到的端元矩阵和丰度因子，重建出超分辨率高光谱图像；所述端元矩阵表示地物类别的光谱信号，丰度因子表示端元在像元所占的比例。

本发明对以上基本方案还进一步作了具体优化：

步骤(1)具体为：

(1a)在自然图像上建立低分辨图像和对应高分辨率图像的数据库；原始自然图像作为高分辨率图像，将原始自然图像进行模糊和下采样生成相应的低分辨率图像；

(1b)在自然图像的数据库上训练卷积神经网络，其中低分辨图像是神经网络的输入，高分辨图像为神经网络的输出。

步骤(3)具体为：

(3a)输入低分辨率高光谱图像X和迁移学习的高光谱图像Y_v，初始化端元矩阵U，低分辨图像的丰度因子W，高分辨图像的丰度因子V；参数λ＝10，端元数目C＝10，迭代次数t＝0；

(3b)更新端元矩阵U：

其中，*和分别表示每个矩阵元素对应相乘和对应相除，A^T代表矩阵A的转置矩阵；

(3c)更新低分辨图像的丰度因子W：

(3d)更新高分辨图像的丰度因子V：