[发明专利]多分支卷积神经网络融合的遥感图像场景分类方法

权利要求书

1.一种多分支卷积神经网络融合的遥感图像场景分类方法，其特征在于，包括：

步骤S1：将场景数据集按预设比例划分为训练集和测试集；

步骤S2：对场景数据集中的图像进行预处理；

步骤S3：对预处理后的数据集进行数据扩增；

步骤S4：将进行数据扩增后的数据集中的图像输入对象检测网络，获得对象掩码图；

步骤S5：将进行数据扩增后的数据集中的图像输入注意力网络，获得注意力图；

步骤S6：将进行数据扩增后的图像、对象掩码图和注意力图的训练集分别输入到一个CNN网络进行微调，分别获得第一最优分类模型、第二最优分类模型以及第三最优分类模型；

步骤S7：将进行数据扩增后的图像的测试集作为输入，通过第一最优分类模型在CNN网络的Softmax层获得对测试样本的第一预测概率，将对象掩码图的测试集作为输入，通过第二最优分类模型在CNN网络的Softmax层获得对测试样本的第二预测概率，将注意力图的测试集作为输入，通过第三最优分类模型在CNN网络的Softmax层获得对测试样本的第三预测概率；

步骤S8：将第一预测概率、第二预测概率和第三预测概率通过决策级融合，获得最终预测结果，将其作为分类结果；

其中，步骤S4具体包括：

步骤S4.1：设置网络学习参数；

步骤S4.2：加载预训练模型，初始化网络权重，偏差参数；

步骤S4.3：将进行数据扩增后的数据集中的图像输入对象检测网络，以软最大化损失和辅助损失的组合方式进行微调，获得最优分割模型，组合的损失公式如下：

组合的损失：

L＝L₁+L₂ (1)

其中，软最大化损失L₁为：

辅助损失L₂为：

在式(2)中：

z_i表示输入软最大化损失层的第i个类上的特征，

y_i表示第i个类上的真实类别，

D表示类别数；

在式(3)中：

α表示辅助损失权重，

z′_i表示输入辅助损失层的第i个类上的特征；

步骤S4.4：将进行数据扩增后的图像的测试集作为输入，利用步骤S4.3获得的最优分割模型，得到对象分割图；

步骤S4.5：将对象分割图映射到进行数据扩增后的图像，产生对象掩码图；

步骤S8具体包括：

步骤S8.1：不同分支加权的预测，根据以上生成的三个分支的预测概率矩阵采用加权系数进行聚合，并经过交叉验证找到权重系数预测公式为：

式(4)中：

l_p(s)表示具有最高概率的场景图像的预测类别，

D表示类别数；

步骤S8.2：基于大数表决的预测，找出三个预测分支结果中具有最大次数的类别l_m(s)作为场景图像s的预测类别，预测公式为：

l_m(s)＝argmax_{k∈{1,...,D}}(Count([p₁ p₂ p₃])＝k) (5)

式(5)中：

Count(·)表示计数器函数，统计三个分支上预测出的相同类别的次数，

k表示类别号；

步骤S8.3：将上述S8.1和S8.2两种预测方法中具有最高准确度的预测作为最终的预测结果。

2.如权利要求1所述的方法，其特征在于，步骤S2具体包括：

步骤S2.1：将场景图像名与对应的类别编号保存为txt文件；

步骤S2.2：将输入的常规图像格式转换为CNN网络要求的lmdb格式；

步骤S2.3：将转换为lmdb格式的图像的尺寸缩放到CNN网络要求的输入大小。

3.如权利要求1所述的方法，其特征在于，步骤S3具体包括：

对进行预处理后的数据集中包含的图像的中心区域和四个角落进行裁剪得到5个位置的新的图像数据，同时水平翻转裁剪后的图像。