[发明专利]基于双路注意力融合神经网络的多源遥感图像分类方法

说明书

本发明公开了一种基于双路注意力融合神经网络的多源遥感图像分类方法，主要解决现有技术对多源遥感图像分类精度低的问题。其实现方案为：1)对高光谱数据和激光雷达数据进行预处理和划分，得到训练样本和测试样本；2)设计基于注意力机制的注意力融合层对光谱数据和激光雷达数据进行加权筛选和融合，并构建双路互连接卷积神经网络，3)以多类交叉熵作为损失函数对互连接卷积神经网络进行训练，得到训练好的网络模型，4)利用训练好的模型对测试样本进行预测，得到最终的分类结果。本发明能提取多源遥感数据的特征并对其进行有效的融合分类，改善了融合中维数过高的问题，提高了平均分类精度，可用于对两幅不同传感器得到的遥感图像进行融合。

技术领域

本发明属于图像处理技术领域，特别涉及一种遥感图像分类方法，可用于对两幅不同传感器得到的遥感图像进行融合分类。

背景技术

近年来，遥感传感器数量增长十分迅速，人们可以同时获得同一场景的多源数据集，这使得集成不同传感器捕获的不同信息成为可能。比如多光谱图像MSI或高光谱图像HSI通常由同一场景的多个光谱通道组成，包含详细的光谱和空间信息，提供了准确区分感兴趣材料的能力。另一方面，激光雷达LiDAR数据可以对场景的高程和目标高度信息进行表示，有助于区分由相似材料构成却高度不同的物体。因此，这两种传感器信息的集成可以提供详细的光谱-空间-高程信息，从而进一步的提高分类性能。

遥感图像的分类通常是复杂和具有挑战性的，为了充分利用高光谱图像和LiDAR数据，目前的融合分类方法大概有以下几种。一种方法是将激光雷达数据作为一个通道堆叠到高光谱图像中，并对堆叠后的图像进行分类，这种方法由于激光雷达的鉴别特性，能够提高分类性能，然而，一个简单的原始特性的连接可能不足以分离感兴趣类别。第二种方法是首先分别对高光谱图像和LiDAR图像进行传统的特征提取，如形态学特征、小波特征、纹理特征等，然后使用支持向量机SVM，随机森林RF等传统分类器对提取出的两种图像的特征进行分类。

以上两种传统的分类方法在特征学习和分类中的性能有限，首先，传统特征可能会导致对空间信息的利用不足，此外，不同传感器提取的特征数量越多，虽然可以更详细的对两种图像的信息进行表征，但同时会造成严重的维数灾难。近些年来，深度学习的方法被提出以分层的方式提取特征，为基于深度特征的多源遥感图像融合提供了方向。卷积神经网络CNN模拟了人类视觉系统中的“局部视野”概念，将全连接转换为局部连接，利用局部连接处理空间依赖关系，显著减少了需要训练的参数数量，降低了计算成本，此外，卷积神经网络具有学习丰富的层次表示和自主学习的能力，可以根据不同的数据源自适应的提取出合适的特征，因此适合用来进行高光谱图像和LiDAR图像的融合分类。

目前的基于卷积神经网络的融合分类方法，一般是步骤是：首先，分别对高光谱数据和LiDAR数据构建两个结构相似的卷积神经网络进行深度特征提取，然后将两个网络提取的两种图像的特征进行维度变化，级联成为一组特征，最后再利用全连接层进行图像的分类。这类方法能够利用卷积神经网络的优点，对高光谱图像和LiDAR图像提取有效的特征，并将这些特征应用于分类问题，但是，这种模型在进行融合分类时，仍然存在一定的不足之处：首先高光谱图像网络和LiDAR数据网络相互分离，不能很好的进行特征信息的流通和融合；其次，卷积神经网络提取的两种图像的特征仅仅是进行简单的特征级联之后输入到全连接层进行分类，并没有进行特征的筛选和融合，这会导致特征的维度过高以及特征冗余现象的产生。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于双路注意力融合神经网络的多源遥感图像融合分类方法，以减少特征信息的冗余程度，加强数据之间流通性，提高多源遥感图像的分类精度。

本发明的技术思路是：通过建立一个双路的交互连接卷积神经网络，分别对高光谱数据和LiDAR数据进行特征提取；通过设计一个基于注意力机制的融合层，对经过卷积神经网络后的高光谱数据和LiDAR数据的特征进行学习筛选和融合，并将得到的融合特征连接至全连接层进行分类输出，其实现方案包括如下：