[发明专利]基于相关性融合网络的多源遥感图像的逐像素分类方法

权利要求书

1.基于相关性融合网络的多源遥感图像的逐像素分类方法，其特征在于，包括以下步骤：

S1、从数据集中读入多光谱影像，包括已配准后的PAN和MS图像数据，以及对应只有部分区域的类标ground truth图；

S2、标记边缘样本；

S3、分别对PAN和MS图像进行预处理，选取训练集和测试集；

S4、构造多源遥感图像逐像素分类的融合网络模型，具体为：

S401、由于PAN图是MS图的四倍，所以PAN图先经过一层步长为2的5*5卷积与步长为2的最大池化，而MS经过一层3*3卷积与最大池化操作，但步长为1，此时两者的特征块的尺寸与通道数将相同，以便后续的特征融合；

S402、特征融合与进一步提取模块，PAN与MS两支路上分别包括三个残差块，每个残差块由残差和直接映射两支路组成，每个残差块的直接映射部分由一层均值池化与一层1*1卷积组成，均值池化用于匹配残差部分输出的尺寸，1*1卷积用于匹配残差部分输出的通道数，设对于MS支路的第一个残差块的输入为先经过一层1*1卷积降维得到然后分别经过步长为2的3*3的传统卷积与3*3的自适应卷积；将两个卷积输出进行通道维度上的合并，再经过一层1*1卷积进行特征融合与升维得到残差支路的输出，自适应卷积核来自对方PAN支路相对应的第一个残差块输入的部分输入，具体为：

先计算与的通道相关性矩阵R^MS*PAN如下：

其中，matirx()表示对图像特征块的每一通道拉成一行向量，形成具有C行的矩阵，C为图像特征块具有的通道总数；

然后比较得到的每一个通道与的各个通道的相关性的最大值；再取最大值中k个值所对应的的通道索引，k设置为的一半通道数，将通道上特征图全部置零得到即只融合与自身相关性较高的特征；然后将通过自适应池化为3*3尺寸，再通过1*1卷积降维得到最后将其作为卷积核与待卷积的图像进行分组卷积；

S403、将MS与PAN的特征提取支路的输出拉成一维向量并合并，再经过三层全连接层与一层softmax分类层，PAN图支路参数：第一层：5*5卷积层，步长为2，输入通道数1，输出通道数64；第二层：3*3最大池化层，步长为2；

残差块一参数：直接映射支路：均值池化层，步长为2；1*1卷积层，步长为1，输入通道数64，输出通道数128；

残差支路：1*1卷积层，步长为1，输入通道数64，输出通道数32；3*3卷积层，步长为2，输入通道数32，输出通道数32；3*3自适应卷积层，步长为2，输入通道数32，输出通道数32；3*3卷积层与3*3自适应卷积层通道维合并；1*1卷积层，步长为1，输入通道数64，输出通道数128；

残差块二参数：直接映射支路：均值池化层，步长为2；1*1卷积层，步长为1，输入通道数128，输出通道数256；残差支路：1*1卷积层，步长为1，输入通道数128，输出通道数64；3*3卷积层，步长为2，输入通道数64，输出通道数64；3*3自适应卷积层，步长为2，输入通道数64，输出通道数64；3*3卷积层与3*3自适应卷积层通道维合并；1*1卷积层，步长为1，输入通道数128，输出通道数256；

残差支路：1*1卷积层，步长为1，输入通道数256，输出通道数128；3*3卷积层，步长为2，输入通道数128，输出通道数128；3*3自适应卷积层，步长为2，输入通道数128，输出通道数128；3*3卷积层与3*3自适应卷积层通道维合并；1*1卷积层，步长为1，输入通道数256，输出通道数512；

MS图支路参数：第一层：3*3卷积层，步长为1，输入通道数4，输出通道数64；第二层：3*3最大池化层，步长为1；三个残差块参数与PAN支路相同；全连接层一：输入4096节点，输出512节点；全连接层二：输入512节点，输出128节点；全连接层三：输入128节点，输出样本类别数节点；

S5、构造网络损失函数；

S6、用训练数据集对分类模型进行训练，得到训练好的分类模型；

S7、利用训练好的分类模型对测试数据集进行分类，得到测试数据集中每个像素点的类别。