[发明专利]基于关键点检测的防振锤缺陷视觉检测方法、系统及介质

权利要求书

1.一种基于关键点检测的防振锤缺陷视觉检测方法，其特征在于实施步骤包括：

1)输入包含防振锤的输电线路图像；

2)基于输电线路图像检测防振锤目标得到防振锤边界框的宽度和高度，并检测防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值；

3)根据防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值判断防振锤是否出现锤头缺失、锤头松动和形变的缺陷，完成对防振锤缺陷的检测；判断防振锤是否出现锤头缺失、锤头松动和防振锤形变的缺陷的详细步骤包括：

3.1)判断左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值，如果任意一个关键点的存在状态值为0，则判定防振锤出现锤头缺失的缺陷，结束；否则，跳转下一步；

3.2)计算左侧顶点和右侧顶点的x坐标之和、两倍线夹体中点的x坐标之间的差值作为第一差值，并判断该第一差值与防振锤边界框宽度的比值大于第一预设阈值是否成立，如果成立则判定防振锤出现锤头松动的缺陷；计算左侧顶点和右侧顶点两者的y坐标的差值作为第二差值，并判断该第二差值与防振锤边界框高度的比值大于第二预设阈值是否成立，如果成立则判定防振锤出现形变的缺陷。

2.根据权利要求1所述的基于关键点检测的防振锤缺陷视觉检测方法，其特征在于，步骤2)的详细步骤包括：

2.1)将输电线路图像调整至第一目标尺寸；

2.2)将调整至第一目标尺寸的输电线路图像输入预先完成训练的第一神经网络模型，从而得到含有防振锤目标标注的输电线路图像，所述第一神经网络模型被预先训练建立了输入输电线路图像、标注防振锤目标之间的功能映射关系；

2.3)从含有防振锤目标标注的输电线路图像中裁剪出防振锤目标图像，将防振锤目标图像调整至第二目标尺寸；

2.4)根据防振锤目标图像确定防振锤边界框的宽度和高度；

2.5)将调整至第二目标尺寸的防振锤目标图像输入预先完成训练的第二神经网络模型，从而得到防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值，所述第二神经网络模型被预先训练建立了输入输电线路图像、标注防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值之间的功能映射关系。

3.根据权利要求2所述的基于关键点检测的防振锤缺陷视觉检测方法，其特征在于，步骤2.2)中的第一神经网络模型为基于YOLO V3算法深度卷积神经网络模型，所述深度卷积神经网络模型通过在输入图像上划分网络栅格，并由物体中心所在的栅格预测该目标的位置，所述深度卷积神经网络模型采用第53层卷积层的Dark-net 53网络结构作为特征提取器，所述深度卷积神经网络模型的网络结构对输入图像共做了五次降采样，且通过三种不同尺寸的特征图上进行特征图融合预测。

4.根据权利要求2所述的基于关键点检测的防振锤缺陷视觉检测方法，其特征在于，步骤2.4)中的第二神经网络模型为基于Mobilenet v2算法的全卷积神经网络模型，所述全卷积神经网络模型采用RMSE损失函数。