[发明专利]一种基于卷积神经网络的影像融合方法以及遥感影像融合方法

说明书

本发明提出了一种基于卷积神经网络的影像融合方法，包括：T1，使用第一重编解码器网络用于全色影像和多光谱影像空间特征的联合提取；T2，第二重编码器网络用于对高光谱影像提取光谱特征，以及将所述高光谱影像的特征和T1中得到的特征进行融合，并重建影像。本发明还提出一种遥感影像融合方法，其使用了如前所述的基于卷积神经网络的影像融合方法。本发明同时使用了全色、多光谱、高光谱影像信息，将三者的优势进行了结合，解决了单独两种影像进行融合中信息差异过大的问题。

技术领域

本发明涉及信息处理技术领域，更具体地，涉及一种基于卷积神经网络的光谱和高光谱影像融合方法以及遥感影像融合方法。

背景技术

影像融合技术是提升遥感影像信息丰度的方法之一。长久以来，成像传感器自身的技术参数决定了遥感影像必须在空间分辨率、光谱分辨率和信噪比之间做出平衡。因此，随着成像技术的发展，遥感影像分化成包括：仅具有一个波段及高分辨率的全色影像；具有高空间分辨率、低光谱分辨率的高分影像；具有中低空间分辨率、高光谱分辨率的高光谱影像；在空间分辨率与光谱分辨率间取得平衡的多光谱影像。由于仅依赖成像传感器本身获取同时具有高光谱分辨率与高空间分辨率的影像的想法并不现实，且此种影像显然地对遥感影像的诸多应用都有着重大的意义，已有诸多研究与工作用于生成此类影像。混合像元分解法通过采集像元内存在的地物光谱，通过特定分离方法，估算像元内存在的各地物类别的占比。但该方法首先无法确定像元内地物的空间分布；其次，成像过程对影像光谱造成的影响使得采集地物光谱与影像光谱间存在差异。

影像融合技术是使用多传感器影像以特定算法进行处理，以使融合影像同时获得融合前各影像优势的一种方法，按融合算法所处阶段可分为像素级、特征级和决策级。高光谱影像融合方法包括组分分解和多分辨率分析等类。组分分解指将高光谱影像进行频域或其他类别的转换并分解，按照特定的规则将具有高空间分辨率的影像替换至变换后的高光谱影像，最终利用反变换得到融合影像。依照变换的不同，可大致分为颜色空间（颜色变换）、频域空间（主成分分析）、频域字典（贝叶斯方法）和稀疏矩阵（矩阵分解）等。多分辨率分析多基于小波分析与金字塔分析进行，多分辨率分析结果多缺乏平移不变性，且分解时产生的大量无效系数使得结论难以延伸。

不同于上述方法多使用全色与高光谱影像进行融合，使用卷积神经网络的融合方法可分为使用同源微偏高光谱影像的Super-resolution、使用全色与高光谱的Pan-sharping，以及使用多光谱与高光谱的HSI-MSI fusion三种。其中HSI-MSI fusion兼顾了空间与光谱信息，是一种更加可行的方案。该方法一度只将多光谱影像与高光谱影像拼接填入网络，而最近的研究中多倾向于分离提取多光谱影像的空间信息及高光谱影像的光谱信息，形成了双分支网络-SSFSN。

还有空谱特征分离式网络（SSFSN），其使用卷积网络继承了双分支网络的思想，在网络结构上借鉴了SegNet的编解码器结构，搭建双分支编解码器网络。图为该方案使用的网络结构，双分支体现在编解码器的编码器部分，用于分别提取高光谱影像的光谱特征及多光谱影像的空间特征；在解码器端使用通道注意力机制重建高分辨率高光谱影像。该研究同时借鉴了ResNet网络提出的残差结构，以防止深层网络出现的参数传递困难的问题。但在损失函数上，并未做出说明。

发明内容

针对背景技术中的问题，本发明提出了一种基于卷积神经网络的影像融合方法，包括：T1，使用第一重编解码器网络用于全色影像和多光谱影像空间特征的联合提取；T2，第二重编码器网络用于对高光谱影像提取光谱特征，以及将所述高光谱影像的特征和T1中得到的特征进行融合，并重建影像。