[发明专利]一种结合目标检测的小目标语义分割太阳暗条检测方法

权利要求书

1.一种结合目标检测的小目标语义分割太阳暗条检测方法，其特征在于，所述方法包括以下步骤：

步骤1，准备数据集，对太阳Hα全日面图像进行预处理操作，采用中值滤波对图像降噪处理，接着对数据集进行数据增强技术；最后进行手工标注，按比例划分为检测模型的训练集和验证集；

步骤2，构建Gated-SCNN语义分割网络，通过Hα全日面图像数据集训练网络得到整体语义分割模型，选出测试集检测效果最好的训练模型；

步骤3，根据数据集制作的真实标记图，裁剪小目标图像块，制作小目标数据集；

步骤4，通过步骤3得到的小目标检测数据集训练EfficientDet目标检测网络，得到目标检测模型；

步骤5，设计一个针对小目标分割的语义分割网络，采用Unet++网络，并用步骤3得到的小目标分割数据集训练该网络；

步骤6，将测试图像输入整体语义分割网络和小目标检测网络，并通过小目标分割结果进行修正。

2.根据权利要求1所述的结合目标检测的小目标语义分割太阳暗条检测方法，其特征在于，所述步骤1中的数据增强是结合颜色变换、平移、缩放和旋转，其中，图像缩放的大小设置为512*512，颜色变换随机改变图像亮度、饱和度和对比度；采用labelme数据标注工具标注出全日面图像中的太阳暗条，将Hα全日面图像数据集按照等比例混合，按照8∶2的比例划分为检测模型的训练集和验证集，训练集用于网络训练，验证集不参与网络训练，用于验证网络的训练效果。

3.根据权利要求1所述的结合目标检测的小目标语义分割太阳暗条检测方法，其特征在于，所述步骤2中的Gated-SCNN语义分割网络，通过全日面太阳图像和太阳暗条标签图像训练网络得到整张全日面图像的分割结果。

4.根据权利要求1所述的结合目标检测的小目标语义分割太阳暗条检测方法，其特征在于，所述步骤3中的制作小目标数据集过程如下：训练集中每一副图像，数据集都有一副对应的真实语义分割图和一个包含图像中所有目标边界框信息的标注文件，结合这两个文件，首先，计算每个目标下所包含的像素点个数，并设定一个阈值β；其次，若目标内像素点个数大于β，则将该目标实例从目标边界框的标注文件中移除，即只保留小目标的边界框信息，对训练集中所有图像做上述操作即可得到只包含小目标的检测训练集；最后，若目标内像素点个数小于等于β，则根据该目标的边界框分别裁剪原始图像和真实分割图，分配其id并将裁剪后的图像和分割图分别保存到本地两个文件夹，文件名即为分配的id，对训练集中所有图像做上述操作即可得到低分辨下的小目标语义分割数据集。

5.根据权利要求1所述的结合目标检测的小目标语义分割太阳暗条检测方法，其特征在于，步骤5中将单个20pixel×20pixel规格以下的小目标放大到50pixel×50pixel规格的图像，使之成为一个较为模糊的大目标。

6.根据权利要求1所述的结合目标检测的小目标语义分割太阳暗条检测方法，其特征在于，步骤5中在小目标检测阶段，模型已经检测到小目标可能的类别，该类别能作为一种先验信息辅助语义分割网络的学习；小目标语义分割网络首先建立一个先验矩阵，矩阵中的元素取值都为先验类别值；训练神经网络时，先验矩阵作为一个通道与神经网络深层特征图进行拼接，后续网络将联合深层特征和先验类别信息继续学习。

7.根据权利要求1所述的结合目标检测的小目标语义分割太阳暗条检测方法，其特征在于，步骤5中在Unet++网络中，采用跳层连接，结合网络浅层特征图，提高深层网络既包含了语义信息，又提高了边缘检测能力。

8.根据权利要求1所述的结合目标检测的小目标语义分割太阳暗条检测方法，其特征在于，步骤6中分别将测试图像作为DeepLab-Attention语义分割网络和小目标检测网络的输入，得到整副图像的分割结果和图像中可能存在的小目标边界框；若检测到小目标，使用训练好的小目标语义分割网络对裁剪后的图像进行分割，结合目标边界框坐标位置和该分割图对Unet++网络得到的分割结果进行修正，修正后的分割图为全日面图像暗条分割的最终结果。