[发明专利]一种基于双目图像的输电线路典型缺陷识别方法

说明书

本发明公开了一种基于双目图像的输电线路缺陷检测方法：步骤1：获取双目输电线路图像数据集，对数据集中的图片进行畸变校正和极线校正；步骤2：构造基于双目图像的输电线路缺陷检测网络模型，包含两个相同的主干网络、四个不同尺度的双目特征融合模块、特征筛选模块、改进的FCOS目标检测头；步骤3：将网路模型在双目输电线路缺陷数据集上进行训练；步骤4：将待识别的双目输电线路图像输入训练完成的网络模型进行缺陷检测；使用新的标定框检测置信度分数来进行非极大值抑制操作，得到最终的缺陷检测结果。本发明提高了输电线路缺陷检测的准确率，减少了复杂背景对缺陷识别的干扰，提高了对于断股和异物这类小目标的定位能力。

技术领域

本发明属于计算机视觉技术领域，涉及一种基于双目图像的输电线路典型缺陷识别方法。

背景技术

输电线路由于长时间暴露在外界中，有时会出现断股和异物悬挂等缺陷，在无人机巡检图像中识别这些缺陷是一项关键任务，以便后续工作人员进行缺陷的处理，排除安全隐患。

输电线路图像的分辨率通常较高，但其中的输电线路缺陷如断股和异物等尺寸较小，特别是断股缺陷，即使是人眼也较难察觉。基于数字图像处理的传统方法的准确率难以保证。一些研究人员将基于深度学习的目标检测方法应用到了输电线路缺陷识别任务中，但这些方法也存在一些不足，容易受到图像中无关信息的干扰，对于尺度较小的输电线路缺陷难以进行精确地识别和定位，容易产生误识别和漏识别的情况。

发明内容

本发明提供一种基于双目图像的输电线路典型缺陷识别方法，用于解决现有输电线路缺陷检测方法容易受到图像中无关信息的干扰产生较多误识别和漏识别的问题。

本发明所采用的技术方案如下：

一种基于双目图像的输电线路缺陷检测方法，具体包括以下步骤：

步骤1：获取双目输电线路图像数据集，对数据集中的图片进行畸变校正和极线校正，得到校正后的左、右图像；

步骤2：构造基于双目图像的输电线路缺陷检测网络模型，所述的网络模型包含两个相同的主干网络、四个不同尺度的双目特征融合模块、特征筛选模块、改进的FCOS目标检测头，其中：

所述两个主干网络分别用于提取左、右图像的多尺度特征。具体是将左、右图像分别输入两个并行的主干网络，得到四个不同尺度的左特征图和右特征图它们的长宽尺寸分别为原图尺寸的(1/4,1/8,1/16,1/32)；

所述双目特征融合模块用于将两个主干网络提取获得的四对左右特征图分别输入对应尺度的双目特征融合模块进行融合，得到四个不同分辨率下的双目融合特征图

所述特征筛选模块用于对双目融合特征图进行过滤，再通过自顶向下的路径构造出具有四个层级的双目融合特征金字塔

所述改进的FCOS目标检测头用于分别在双目融合特征金字塔中的四个尺度的特征图上进行预测，计算出最终的输电线路缺陷检测结果；

所述改进的FCOS目标检测头共有三个输出，分别为分类预测、标定框预测以及IoU分数预测；所述分类预测分支输出类别置信度分数，即每个样本点属于各类别的概率，标定框预测分支用于输出标定框，即样本点距离目标物体预测标定框的四条边的距离；所述的IoU预测分支用于输出标定框预测对应的IoU预测分数。

步骤3：将基于双目图像的输电线路缺陷检测模型在双目输电线路缺陷数据集上进行训练；

步骤4：将待识别的双目输电线路图像输入训练完成的网络模型进行缺陷检测，在进行预测时，将网络输出的每个样本点的类别置信度分数与对应的IoU预测分数相乘，得到新的标定框检测置信度分数；其中，类别置信度分数为分类预测分支得到的预测结果，IoU预测分数为IoU分数预测分站得到的结果，标定框检测置信度分数为标定框预测分支输出的标定框使用IoU Loss进行监督得到的结果，其中IoU Loss是一种直接优化标定框衡量指标的损失函数；