[发明专利]基于多尺度机制和注意力机制的遥感图像时空融合方法

说明书

本发明请求保护一种基于多尺度机制和注意力机制的遥感图像时空融合方法，包括步骤：S1将高时间、低空间分辨率的图像和低时间、高空间分辨的图像分别输入两个不同的并行卷积神经网络，分别提取它们的在不同尺度上的特征图；S2选择三个尺度上的特征图，分别对它们进行融合，再将三个尺度上的融合特征图上采样到统一尺度，接着把它们融合为一个特征图；S3将融合后的特征图输入注意力机制，对特征图的特征和通道赋予不同的权值；S4结合特征图的权值，使用全连接层对图像进行重建，得到一张高空间、高时间分辨率的图像。本发明提高了遥感图像时空算法的准确率，并且在时间效率上具有优势。

技术领域

本发明属于图像处理技术领域，特别涉及基于多尺度机制和注意力机制的遥感图像时空融合方法。

背景技术

受限于当前硬件技术和预算限制，我们获得的卫星图像在时间和空间分辨率上存在矛盾，比如中分辨率成像光谱仪(Moderate-resolution Imaging Spectroradiometer，MODIS)可以每天或每半天获取同一区域的图像，但是其空间分辨率的范围为250米到1000米；而美国的陆地卫星(Landsat)则能够获取空间分辨率为10米到30米的图像，但是它的重返周期为16天。在实际应用中，我们需要高时间和高空间分辨率的卫星图像，因此可以通过时空融合解决这一问题。遥感图像的时空融合算法在农田监测、灾害预测等方向有着广泛应用。现存的遥感图像时空融合算法可以分为五大类，分别为基于加权函数的算法(Weightfunction-based)、基于贝叶斯的算法(Bayesian-based)、基于解混的算法(Unmixing-based)、混合算法(Hybrid)和基于学习的算法(Learning-based)。

时空自适应反射融合模型(Spatial and Temporal Adaptive ReflectanceFusion model,STARFM)是最具代表性的基于加权函数的算法，后续许多的时空融合算法都是基于STARFM提出。随后基于贝叶斯和解混的算法也逐渐多样化，除了使用单一种类的算法，有一些方法使用了混合算法，例如柔性时空数据融合(Flexible Spatiotemporal DataFusion,FSDAF)。近年来，基于学习的算法蓬勃发展，其进一步可分为基于字典对学习的时空融合算法和基于机器学习的时空融合算法。其中，卷积神经网络在遥感图像的时空融合中应用得尤其广泛，许多的方法都证明了卷积神经网络的优越性。

虽然现存时空融合方法多种多样，但是依然存在很多问题，例如：在异质性较高的区域，算法的融合精度并不高；大多数算法都使用两对图像进行时空融合，这对数据集的要求较高；基于卷积神经网络的算法得到的融合图像通常过于平滑。

发明内容

本发明旨在建立一个只使用一对遥感图像进行时空融合并且融合精度更高的网络框架，该网络框架基于卷积神经网络，同时，致力于解决基于卷积神经网络的结果图像过平滑这一问题。从而提出了一种基于多尺度机制和注意力机制的遥感图像时空融合方法。本发明的技术方案如下：

一种基于多尺度机制和注意力机制的遥感图像时空融合方法，其包括以下步骤：

S1、分别将t₀和t₁时刻的高时间、低空间分辨率图像和t₀时刻的低时间、高空间分辨率图像输入第一、第二卷积神经网络；

S2、融合步骤S1中两类图像在三个不同尺度上的特征图；

S3、将融合结果输入注意力机制，包括以下子步骤，

S3.1、对输入的特征图在通道维度进行赋值，对特征图的每一个特征图赋予不同的权值；

S3.2、在通道维度对特征图进行赋值后，对特征图的特征信息进行赋值；

S4、将包含权值的特征图输入全连接层，进行重建图像，最后得到t₁时刻的高空间分辨率图像；