[发明专利]一种基于双目图像的输电线路典型缺陷识别方法

权利要求书

1.一种基于双目图像的输电线路缺陷检测方法，其特征在于，具体包括以下步骤：

步骤1：获取双目输电线路图像数据集，对数据集中的图片进行畸变校正和极线校正，得到校正后的左、右图像；

步骤2：构造基于双目图像的输电线路缺陷检测网络模型，所述的网络模型包含两个相同的主干网络、四个不同尺度的双目特征融合模块、特征筛选模块、改进的FCOS目标检测头，其中：

所述两个主干网络分别用于提取左、右图像的多尺度特征，具体是将左、右图像分别输入两个并行的主干网络，得到四个不同尺度的左特征图和右特征图它们的长宽尺寸分别为原图尺寸的(1/4,1/8,1/16,1/32)；

所述双目特征融合模块用于将两个主干网络提取获得的四对左右特征图分别输入对应尺度的双目特征融合模块进行融合，得到四个不同分辨率下的双目融合特征图

所述特征筛选模块用于对双目融合特征图进行过滤，再通过自顶向下的路径构造出具有四个层级的双目融合特征金字塔

所述改进的FCOS目标检测头用于分别在双目融合特征金字塔中的四个尺度的特征图上进行预测，计算出最终的输电线路缺陷检测结果；所述改进的FCOS目标检测头共有三个输出，分别为分类预测、标定框预测以及IoU分数预测；其中，分类预测分支输出类别置信度分数，即每个样本点属于各类别的概率，标定框预测分支用于输出标定框，即样本点距离目标物体预测标定框的四条边的距离；所述的IoU分数预测分支用于输出标定框预测对应的IoU预测分数；

步骤3：将基于双目图像的输电线路缺陷检测模型在双目输电线路缺陷数据集上进行训练；

步骤4：将待识别的双目输电线路图像输入训练完成的网络模型进行缺陷检测，在进行预测时，将网络输出的每个样本点的类别置信度分数与对应的IoU预测分数相乘，得到新的标定框检测置信度分数；其中，类别置信度分数为分类预测分支得到的预测结果，IoU预测分数为IoU分数预测分站得到的结果，标定框检测置信度分数为标定框预测分支输出的标定框使用IoU Loss进行监督得到的结果，其中IoU Loss是一种直接优化标定框衡量指标的损失函数；

然后使用新的标定框检测置信度分数来进行非极大值抑制操作，最后得到最终的缺陷检测结果。

2.如权利要求1所述的基于双目图像的输电线路缺陷检测方法，其特征在于，所述步骤2中的双目特征融合模块用于实现如下过程：

首先将相同尺度的左特征图和右特征图输入双目相似度计算模块，计算出双目相似度矩阵来间接表征双目图像的深度信息，并使用3×3卷积层对双目相似度矩阵进行滤波和整合，得到隐式深度特征图；然后对当前左、右特征图分别使用1×1卷积进行通道数的调整；再将通道数调整后的左、右图像的特征图以及隐式深度特征图沿着通道方向进行拼接，并将拼接后的特征图输入ASPP模块，最后得到双目融合特征图。

3.如权利要求2所述的基于双目图像的输电线路缺陷检测方法，其特征在于，所述的双目相似度计算模块用于实现如下步骤：

A、首先保持左特征图不动，将右特征图向右移动d个单位，然后将左、右特征图的重叠部分的对应位置的通道向量做点积运算，得到在偏移量为d时的二维相似度图，其尺寸为w×h，表示左特征图上的每一个像素点与右特征图上偏移量为d的像素点之间的相似度；

B、在不同的偏移量下对左、右特征图做与步骤A同样的操作，然后将这些不同偏移量下计算出的二维相似度图沿着通道方向堆叠在一起，得到一个尺寸为w×h×d_max的三维双目相似度矩阵M，其中d_max表示最大偏移量。

4.如权利要求2所述的基于双目图像的输电线路缺陷检测方法，其特征在于，所述的双目相似度矩阵双目相似度矩阵的计算如下式所示：

其中M表示双目相似度矩阵，d表示偏移量，c表示左特征图或右特征图的通道数量，F_l表示左特征图，F_r表示右特征图，x和y分别表示特征图上的纵坐标和横坐标。