[发明专利]一种遥感图像空间和光谱分辨率恢复方法及系统

说明书

本发明涉及一种遥感图像空间和光谱分辨率恢复方法及系统，包括：获取全色图像并进行预处理，得到退化后的全色图像；基于多分支特征提取网络对所述全色图像进行特征提取，得到四个特征图；将所述特征图进行特征聚合，得到特征聚合图；基于特征重建网络对所述特征聚合图进行特征恢复，得到特征重建图；所述特征重建图为Lab三通道图像；将所述Lab三通道图像的颜色空间转化为RGB颜色空间，得到最终的恢复了空间和光谱分辨率的图像。本发明提出一个端到端的遥感图像空间和光谱分辨率恢复方法，仅输入全色图像就可以生成高空间分辨率的彩色图像，同时恢复了遥感图像的空间分辨率和光谱分辨率。

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种遥感图像空间和光谱分辨率恢复方法及系统。

背景技术

高质量的遥感图像通常在城市规划、环境监测、资源勘探、目标识别等遥感应用领域中发挥着重要作用。现有的遥感卫星通常能获取一对全色(panchromatic，PAN)图像和多光谱(multispectral，MS)图像，其中PAN图像空间分辨率高但缺少光谱信息，MS图像具有光谱信息但空间分辨率低。空间分辨率是区分遥感影像空间细节的能力，高空间分辨率的影像有利于目标识别和视觉解译。光谱分辨率是区分遥感影像中地物光谱细节的能力，高光谱分辨率对遥感影像中地物的分类识别具有重要意义。由于设备的限制难以获取到同时具有高空间分辨率和高光谱分辨率的遥感图像，并且在图像生成和传输的过程中都会导致获取到的遥感图像质量变差。使用图像彩色化方法可以恢复遥感图像的光谱分辨率，使用图像超分辨率方法可恢复遥感图像的空间分辨率。

图像彩色化旨在将灰度图像转化为彩色图像来提高图像的视觉效果。现有的图像彩色化方法主要分为基于用户指导的和无用户指导两种。基于用户指导的方法依赖于用户提供的信息，例如涂鸦、参考图像和语义信息等实现图像着色。这种方法不仅需要大量的用户交互还要求用户具有一定的专业性，否则难以得到令人满意的彩色化效果。近年来，深度学习在图像处理领域取得了巨大的成就，将深度学习应用于图像彩色化可以改善基于用户指导的图像彩色化方法的局限性。深度学习根据训练数据集是否有标签信息，大致可以分为有监督学习和无监督学习。基于卷积神经网络(CNN)的灰度图像彩色化算法属于监督学习，使用大量彩色图像作为标签进行训练，实现图像彩色化。生成对抗网络(GAN)可以被视为无监督学习网络，它由一个生成器和一个判别器组成。生成器用来生成彩色的图像，判别器用来判别输入的图像是真实的图像还是由生成器生成的图像，基于GAN的图像彩色化方法可以生成丰富多彩的彩色图像。现有研究表明，深度学习在图像彩色化任务中发挥着重要作用，但现有的图像彩色化方法仍有一定的局限性，例如无法解决多模态问题，依赖于颜色分布或物体检测算法，需要大量的数据来训练等。