[发明专利]基于通道自关注多尺度特征学习的遥感单图超分辨率方法

说明书

本发明涉及模式识别技术领域，尤其涉及一种基于通道自关注多尺度特征学习的遥感单图超分辨率方法，旨在解决现有图像超分辨率方法对于大量合成外部数据集的依赖问题。该基于通道自关注多尺度特征学习的遥感单图超分辨率方法，提出了一种新的图像超分辨率网络模型——通道自关注多尺度特征学习网络，通道自关注多尺度特征学习网络不需要任何额外的合成数据集，只需要一个低分辨率的输入图像进行训练；此外，通过具有不同卷积核的多列卷积层来提取图像不同尺度的特征，通道自关注多尺度特征学习网络使用设计良好的网络，充分学习遥感图像的多尺度特征，实现遥感图像超分辨；通道自关注多尺度特征学习网络提高了超分辨率的性能。

技术领域

本发明涉及模式识别技术领域，尤其涉及一种基于通道自关注多尺度特征学习的遥感单图超分辨率方法。

背景技术

图像超分辨率指将给定的低分辨图像重建为高分辨图像，这是一个非常不适定的过程。在过去的几年中，研究人员提出了大量的超分辨模型来解决这个不适定问题。目前，主要的图像超分辨率方法有以下几种：

(1)基于插值的图像超分辨率方法：早期图像超分辨率方法主要以插值为主，最近邻插值法、双线性插值法、和双三次插值法是最为常见的三种基于插的方法。最近邻插值法将距离待填充像素点最近的像素值赋给待填充像素点，这种方式添加的有效信息有限，会产生明显的锯齿状；双线性插值通常是根据待填充像素点距其周围最近的4个像素点的距离赋予这4个点相应的权重，这种方式较最近邻插值方式有明显的提升；双三次插值参考了待填充像素点周围的16个像素值，并根据距离目标像素点的距离分配不同的权重，融合后得到最终的待插像素值；(2)基于重构的图像超分辨率方法：图像超分辨率问题是一个典型的不适定问题，即低分辨率图像没有唯一对应的高分辨率图像。为解决这一问题，Kim等借用回归方式获取输入的目标高分辨率图像与对应低分辨率图像之间的映射关系，利用稀疏表示的方式节约计算时间；Liu等基于最大后验概率模型，利用贝叶斯的方式恢复视频分辨率；Zhu等通过训练多个稀疏字典，从多个角度提取特征实现图像超分辨率的重建；(3)基于学习的图像超分辨率方法：最近，基于CNN的超分辨网络取得了令人印象深刻的成果，作为一项开创性的工作，Dong等提出了用于图像SR的SRCNN，虽然只使用了三层卷积层，但其性能超过了传统方法；随后，FSRCNN使用更小的卷积核、更多的映射层，并直接引入反卷积层来学习低分辨图像和高分辨图像之间的对应关系；随着Resnet的出现，剩余网络结构也被应用于超分辨率任务中；VDSR通过剩余学习将低分辨图像和高分辨图像之间的高频剩余部分与插值低分辨图像相加，作为最终输出结果；EDSR删除了批处理规范化(BN)层并减少了计算资源；RDN网络使用密集链路将前一层的输出传输到当前层，充分利用前一层的特征信息，剩余结构可以稳定网络训练，加速训练过程，提高网络性能。

近年来，基于深度学习的遥感图像超分辨率方法已显示出巨大的潜力，并取得了重大进展。然而，这些方法通常需要通过大量合成外部数据集进行长期(几天或几周)训练，这些数据集是通过固定的双三次下采样操作获得的。但是，测试过程中的低分辨图像在不满足这种双三次退化条件时，这些需要合成数据集训练的超分辨方法通常会产生较差的结果，特别是真实世界的遥感图像，因受到各种复杂因素的影响，其退化方式与特定数据集的退化方式大相径庭，导致模型在实际应用中的性能大幅下降。

发明内容

本发明提供一种基于通道自关注多尺度特征学习的遥感单图超分辨率方法，以解决现有图像超分辨率方法对于大量合成外部数据集的依赖问题。

为了实现上述目的，本发明提供一种基于通道自关注多尺度特征学习的遥感单图超分辨率方法，所述方法包括：

将输入图像进行下采样；

提取图像的多尺度特征；

构建通道自关注多尺度特征学习网络模块，建模各通道之间的相互依赖关系，其中，通道自关注权重为