[发明专利]基于双路注意力融合神经网络的多源遥感图像分类方法

摘要

本发明公开了一种基于双路注意力融合神经网络的多源遥感图像分类方法，主要解决现有技术对多源遥感图像分类精度低的问题。其实现方案为：1)对高光谱数据和激光雷达数据进行预处理和划分，得到训练样本和测试样本；2)设计基于注意力机制的注意力融合层对光谱数据和激光雷达数据进行加权筛选和融合，并构建双路互连接卷积神经网络，3)以多类交叉熵作为损失函数对互连接卷积神经网络进行训练，得到训练好的网络模型，4)利用训练好的模型对测试样本进行预测，得到最终的分类结果。本发明能提取多源遥感数据的特征并对其进行有效的融合分类，改善了融合中维数过高的问题，提高了平均分类精度，可用于对两幅不同传感器得到的遥感图像进行融合。

主权项

1.一种基于双路注意力融合神经网络的多源遥感图像分类方法，包括如下：(1)输入已配准的一幅高光谱图像和一幅激光雷达LiDAR图像，构建训练样本集和测试样本集：(1a)输入高光谱遥感图像，该图像中包含M个有标记像素点和N个无标记像素点，图像的每一个像素点为一个样本，M个有标记样本构成高光谱训练样本集H，N个无标记样本构成高光谱测试样本集He；(1b)输入激光雷达LiDAR图像，其中，有标记像素点的个数为M，且坐标与高光谱图像中有标记像素点的坐标相同，无标记像素点的个数为N，且坐标与高光谱图像中无标记像素点的坐标相同，图像的每一个像素点为一个样本，M个有标记样本构成LiDAR训练样本集R，N个无标记样本构成LiDAR测试样本集Re。(2)基于注意力机制方法，设计注意力特征融合层，用于对高光谱样本特征和LiDAR样本特征进行选择性的加权学习筛选和融合；(3)构建双路互连接卷积神经网络：(3a)采用双输入方法，设计双路互连接卷积神经网络的两个输入分别为高光谱样本和LiDAR样本；(3b)分别设计两路针对高光谱样本集和LiDAR样本集的分支卷积神经网络，通过两路分支神经网络中的交互连接层进行特征的流通融合，其中，高光谱分支网络由三个卷积层和三个池化层组成，LiDAR分支网络由三个卷积层、三个池化层和两个交互连接层组成；(3c)在每个分支卷积神经网络之后依次连接一个注意力融合层，两个全连接层和一个输出层，完成双路互连接卷积神经网络的构建，该双路互连接卷积神经网络的输出为每个样本的所属类别；(4)采用自适应矩估计优化算法，通过多类别交叉熵损失函数和训练样本的真实p(H,R)，训练步骤(3)中设计的双路互连接卷积神经网络：(4a)将高光谱训练样本集H和LiDAR训练样本集R分别输入到双路互连接卷积神经网络中，经过两路分支网络之后，得到高光谱样本特征X₁和LiDAR样本特征X₂，将这两种特征进行维度变换后输入至注意力融合层进行筛选和融合，得到融合特征X，(4b)将融合特征X依次输入至全连接层和输出层，得到每个训练样本的所属的预测类别；(4c)重复(4a)‑(4b)步骤，直到双路互连接卷积神经网络达到收敛，得到包含训练好的双路互连接卷积神经网络模型；(5)对测试样本进行分类预测：将高光谱测试样本集He和LiDAR测试样本集Re输入到训练好的双路卷积神经网络模型中，得到每个测试样本的所属类别。