[发明专利]基于改进ResNeSt-RPN的绝缘子缺陷检测方法

权利要求书

1.基于改进ResNeSt-RPN的绝缘子缺陷检测方法，其特征在于：包括以下步骤：

步骤1、确定数据集：基于无人机采集的一个缺陷绝缘子数据集，去除图像不清晰以及有歧义的图片，通过旋转、亮度调整、平移的数据增强技术，将其数据集图片数量增加；

步骤2、建立数据集的图像标签库：利用LabelImg图像标注工具对绝缘子以及绝缘子上的缺陷进行标注；

步骤3、建立改进ResNeSt以及改进多尺度RPN的绝缘子缺陷检测网络模型：将ResNeSt和多尺度RPN进行改进，形成使用backbone为ResNet50和ResNet101的ResNeSt作为特征提取基础网络，定义Conv3、Conv4、Conv5代表基础网络结构中每个阶段的最后一个残差块ResNet_3d、ResNet_4f、ResNet_5c；

步骤4、训练检测模型：利用PyTorch1.5.1在python3.7进行训练；

步骤5、将测试集放到训练好的模型中进行测试：将测试的训练集输入到已经训练好的网络中进行绝缘子缺陷检测，得到绝缘子缺失检测框，以及性能评估数值。

2.根据权利要求1所述基于改进ResNeSt-RPN的绝缘子缺陷检测方法，其特征在于：步骤1的实现包括：将数据集图片数量增加至48000张，其中每种绝缘子共计12000张，每种绝缘子包含4320张缺陷绝缘子图片，7680张正常绝缘子图片，数据集分辨率均为224×224；且该绝缘子数据集上每种绝缘子共有3种绝缘子缺陷，分别是裂纹、破损和污秽，对于每一种绝缘子3种缺陷各有1440张图片。

3.根据权利要求1所述基于改进ResNeSt-RPN的绝缘子缺陷检测方法，其特征在于：步骤2所述图像标注工具将生成一个xml文件，每个xml文件与每一张图片一一对应，每个xml文件内包含绝缘子位置的边界框坐标、绝缘子的种类、缺陷位置的边界框坐标和缺陷的种类。

4.根据权利要求1所述基于改进ResNeSt-RPN的绝缘子缺陷检测方法，其特征在于：步骤3的实现包括：

步骤3.1、根据不同分辨率的特征层对于不同尺度绝缘子缺陷的有效性，通过多尺度检测方法联合多路径RPN生成的多尺度绝缘子缺陷候选集E_i＝{E_s,E_a,E_l}和跨尺度聚合特征网络模块得到的聚合特征Q_i＝{Q₃,Q₄,Q₅}提取候选区域特征编码；

步骤3.2、对于不同尺度集的候选区域使用对应的检测分支，每个检测分支训练都有真实类别标注xml^*和真实标注框box^*，单分支绝缘子缺陷检测训练的损失函数定义如下：

Loss(xml,box)＝Loss₁(xml,xml^*)+ω×xml^*×Loss₃(box,box^*)

其中，Loss₃为候选目标的回归损失函数且为SmoothL1损失函数，xml为网络候选目标框置信度分数，box为预测得到的候选目标框，ω为平衡分类与回归任务的损失函数，预测得到的候选目标框与任何一个真实标注框的重叠度大于常数λ，0＜λ＜1时，p^*＝1，否则p^*＝0。

5.根据权利要求1所述基于改进ResNeSt-RPN的绝缘子缺陷检测方法，其特征在于：步骤4的实现包括：

步骤4.1、在CPU为Intel(R)Xeon(R)Gold 6148@3.7GHz 32GB、GPU为NVIDIA TeslaV100 32GB和Ubuntu 16.04LTS上运行；

步骤4.2、设置初始的训练和测试参数，用backbone为ResNet50的ResNeSt作为特征提取基础网络，通过多路径RPN中的主检测分支生成E_i集合中的绝缘子缺陷候选区域匹配到相应的跨尺度聚合特征网络生成的聚合特征Q_i，从而得到该特征层的感兴趣区域；

步骤4.3、利用RoI-pooling归一化提取的特征编码得到特征，C代表卷积，w和h分别代表卷积的宽和高；将提取的特征编码由全连接层变换到维高维特征向量，精确计算候选区域的置信度分数和四个坐标偏移量，得到最终的绝缘子缺陷检测框。