[发明专利]基于深度学习的撒砂管松脱故障图像识别方法及系统

权利要求书

1.基于深度学习的撒砂管松脱故障图像识别方法，其特征在于，方法具体步骤如下：

步骤一、截取真实过车图像中的撒砂管部件子图；

步骤二、利用确定权重系数的撒砂管目标检测模型预测撒砂管部件子图所包括的目标类别与位置；目标包括撒砂管的粗管口、撒砂管的细管口和粗细管相交部件；且

当预测出撒砂管部件子图包括粗管口图像或细管口图像时，获得对应的管口类型分数值；

当预测出撒砂管部件子图包括粗细管相交部件图像时，获得对应的粗细管相交分数值；

步骤三、检测撒砂管部件子图是否包括管口类型分数值大于管口类型分数值阈值T1的粗管口图像或细管口图像，

若是，则确定撒砂管部件子图所对应的撒砂管发生松脱故障，完成撒砂管松脱故障图像识别，并输出该撒砂管部件子图所对应的撒砂管的位置；

若否，则执行步骤四；

步骤四、检测撒砂管部件子图是否包括粗细管相交分数值大于粗细管相交分数阈值T2的粗细管相交部件图像，

若是，则确定撒砂管部件子图所对应的撒砂管正常，完成撒砂管松脱故障图像识别；

若否，则确定撒砂管部件子图所对应的撒砂管发生松脱故障，完成撒砂管松脱故障图像识别，并输出该撒砂管部件子图所对应的撒砂管的位置。

2.根据权利要求1的基于深度学习的撒砂管松脱故障图像识别方法，其特征在于，

步骤二中，撒砂管目标检测模型为Faster R-CNN模型，且该Faster R-CNN模型将ResNeSt-50网络作为目标检测中特征提取的骨干网络。

3.根据权利要求2的基于深度学习的撒砂管松脱故障图像识别方法，其特征在于，

步骤二的具体步骤如下：

步骤二一一、令撒砂管部件子图经过ResNeSt-50网络前向传播至最后共享的卷积层，分别得到供区域建议网络RPN输入的特征图；以及继续前向传播至特有卷积层，产生高维特征图；

步骤二一二、将步骤二一一得到的供RPN输入的特征图经过RPN网络得到区域建议和区域得分，并对区域得分采用非极大值抑制，输出其前数N个得分的区域建议给感兴趣区域RoI池化层；

步骤二一三、将步骤二一一得到的高维特征图和步骤二一二输出的区域建议同时输入RoI池化层，提取对应区域建议的特征；

步骤二一四、将步骤二一三得到的区域建议的特征通过全连接层后，输出该区域的分类得分以及回归后的边界框；

区域的分类得分输出对应于管口类型分数值或粗细管相交分数值，回归后的边界框输出对应于目标类别与位置。

4.根据权利要求3的基于深度学习的撒砂管松脱故障图像识别方法，其特征在于，

步骤二中撒砂管目标检测模型的训练方法具体如下：

步骤二二一、采集撒砂管的正常图像与故障图像作为样本数据集；

正常图像包括粗撒砂管的粗细管相交部件图像，故障图像包括撒砂管的粗管口图像或细管口图像，且粗管口图像或细管口图像均不包括粗细管相交部件图像；

步骤二二二、利用样本数据集对撒砂管目标检测模型进行训练，确定撒砂管目标检测模型的权重系数。

5.根据权利要求4的基于深度学习的撒砂管松脱故障图像识别方法，其特征在于，

步骤二二一中，通过分别采集撒砂管左、右两侧接头部件的图像，获得撒砂管的正常图像与故障图像。