[发明专利]基于多模型决策级融合的舰船与民船目标检测与分类方法

权利要求书

1.一种基于多模型决策级融合的舰船与民船目标检测与分类方法，其特征在于包括下述步骤：

步骤1：样本数据采集及标注，构造神经网络的数据集，包括训练集和测试集；分为三步完成：

步骤1.1：搜集舰船数据集并进行目标标注，目标来源包括m类军舰及n类民船，涵盖实际应用中所有目标种类，后续通过模型的迁移学习，增加更多的舰船种类；提供一套目标自动标注工具，目标自动标注工具分为两步：

首先，在每种类别中随机挑选部分图片进行人工标注，包含目标的位置坐标和类别信息，训练神经网络初步模型；然后，利用神经网络初步模型对剩余图片进行自动标注；

其次，对模型标注后的图片通过人工参与的方式进行二次修正，包括目标位置的精修与舰船类别的确认；

最后，将二次修正后的图片再一次进行训练，如此反复，直到目标类别信息全部正确，位置坐标人眼可区分为止；

步骤1.2：从现有公开数据集中挑选出船只类别，按照预定的m类军舰及n类民船标签进行分类，增加数据集中不同背景目标的数目；

步骤1.3：使用所有遥感图片单独建立遥感数据集，使用YOLOv3神经网络预训练一个针对遥感数据集的神经网络模型，对于人眼无法辨认的目标类别，采用自动标注工具，经过多次训练，直至测试集检测与识别的AP值不再提升，进一步提升对遥感目标标注准确率；

步骤2：模型训练及参数调节；

采用多模型训练方法，分为两大类，Faster-RCNN和YOLOv3，两个神经网络独立训练；其中，Faster-RCNN采用残差网络resnet-101和resnet-152，通过使用残差网络，减少神经网络训练过拟合的现象；为了增加输入图片的特征信息，同时将YOLOv3的输入图片尺寸从416×416改为608×608，并改变模型训练的batchsize的大小，batchsize为每次输入神经网络的图片数目，即每次迭代同时输入batchsize张图片，使得在相同硬件条件下神经网络模型抓取到舰船目标更详细的特征属性；

步骤2.1：分别针对Faster-RCNN与YOLOv3两类网络进行训练调参；

其中，Faster-RCNN将目标检测与分类分为两步进行：

第一步，通过卷积神经网络得到输入图片的特征图，将特征图输入区域选择网络得出舰船参考位置；

Input：带标注的训练样本集；

Output：每张图片上预测到的舰船目标的坐标位置，包括左上角(xmin，ymin)和右下角(xmax，ymax)以及目标属于舰船的概率；

第二步，根据第一步输出的舰船目标位置坐标，将舰船特征图输入目标分类网络，得到目标的军舰/民船具体分类；

Input：根据第一步输出的位置坐标将目标传入分类网络；

Output：每个目标的具体分类标签和分类概率；

区域选择网络与目标分类网络共享网络参数，通过两步之间的相互迭代达到收敛，收敛条件为准确度AP值不再变化；

其中，YOLOv3将目标的位置检测当成回归问题，同时预测目标的位置信息和类别信息：

Input：带标注的训练样本集；

Output：每张图片上预测到的舰船目标的坐标位置(xmin，ymin，xmax，ymax)、每个预测框的score；

其中，score是目标概率、分类概率以及IOU三者相乘积的结果，IOU为预测框与真实框交并比；

针对舰船目标尺寸大小的跨度较大问题，使用K-means聚类算法重新聚类，得到适合于舰船目标识别的锚点；

步骤2.2：通过使用Faster-RCNN和YOLOv3训练好的神经网络，对测试集图片进行检测，统计分析测试结果，对所有类别中准确度AP低于0.8的舰船类别，通过扩充训练样本量及添加负样本，负样本指与舰船目标特征类似，对模型产生干扰的目标，包括大桥、堤坝、飞机和建筑物，通过对测试结果进行分析，将错误识别成舰船的大桥、堤坝、飞机和建筑物作为负样本加入训练集；

步骤2.3：使用YOLOv3单独训练一个分类模型，将数据集中标注的舰船目标从原始图片中截取出来，预设目标位置信息为固定值重新组成新的数据集；

步骤3：针对Faster-RCNN与YOLOv3不同类型网络，提出基于多模型融合的决策树算法，详细步骤如下：

首先针对神经网络目标检测模型得到的输出结果，使用内插值平均正确率AP作为指标对其进行简单评估，AP表达式如下：

式(1)中，max_k1≥kp(k1)表示在所有大于k的阈值k1中，阈值k1所对应的最大准确度值，Δr(k)表示召回的变化值，Γ代表测试集中所有目标的个数；

提出基于多模型融合的决策树算法，通过决策树的搭建，分析摄像头传回照片的舰船分类，综合多模型处理结果，得出更具针对性的检测识别结果，决策树具体实现步骤如下：

步骤3.1对从模型得出的识别结果进行清洗：

针对同一目标不同模型输出的多个军舰民船识别结果，对目标检测框之间的交并比(IOU)超过阈值的检测框，选取概率分数最高的作为标签，保证同一目标只存在一个标签；

步骤3.2：统计每张图片目标识别情况的军舰占比P：

式中，舰船目标数代表经过步骤3.1清洗后图片中全部预测框的总数，军舰目标数代表所有预测框中，标签为军舰的预测框数目，根据计算得到的P，设定阈值，超过阈值且目标数大于一个即证明图片中包含军舰，输出为军舰；

军舰占比P低于阈值或识别目标数仅为一个时，进入步骤3.4，其余图片进入步骤3.3；

步骤3.3：对进入步骤3.3的图片，使用按照目标尺寸占比原则进一步计算分类分数S：

式(3)中，N代表图片中所检测到的舰船目标总数，Pr_n代表第n个军舰目标的预测概率值，由神经网络模型给出，λ_n代表第n个军舰目标尺寸占所有检测到的军舰目标尺寸之和的比例，

根据计算得到的新的分类分数，大于阈值的输出图片中包含军舰；

步骤3.4：针对步骤3.2挑选的单目标图片，使用训练好的YOLOv3单分类网络，对多模型输出分类结果不同的单目标图片重新进行检测，将该图片中预测的目标截取出来送入单分类网络进行识别，用此结果替换目标原有的标签，若最终结果为军舰则证明输出图片中包含军舰，从而解决单目标的分类错误高风险问题；

步骤3.5：最后，整个系统返回包含有军舰和民船目标位置及类别信息的结果图。