[发明专利]一种基于可变形卷积的输电塔销钉缺陷检测方法

权利要求书

1.一种基于可变形卷积的输电塔销钉缺陷检测方法，其特征在于，包括如下步骤：

步骤S1、建立基于ResNet50与特征金字塔的目标初始检测网络，使用样本数据集对目标初始检测网络进行训练，得到目标初始检测网络的参数以及激活函数Sigmoid的基准阈值λ，且设定所述目标初始检测网络对测试图像进行销钉缺陷检测时的激活函数Sigmoid的实际阈值为λ＇，且λ＇≤λ；

步骤S2、所述目标初始检测网络得到的目标初始检测区域，即包含销钉缺陷的局部区域，输入整流模块内进行矫正，再输出矫正后的图像；

步骤S3、建立基于可变形卷积的目标二次检测网络，所述目标二次检测网络包括特征提取模块和全连接层，所述特征提取模块包括四个卷积层、一个可变形卷积层和特征融合单元，矫正后的图像输入至所述特征提取模块内，将一个所述可变形卷积层和四个所述卷积层得到的特征图分别进行两倍上采样得到特征，然后把特征通过Add操作横向连接至前一层特征，通过所述特征融合单元得到融合后的特征图，将融合后的特征图输入至所述全连接层，得到一个二分类结果输出，通过二分类结果判断是否属于销钉缺陷；

在步骤S2内，所述整流模块包括：

定位网络，用于回归仿射变换的六个参数，输入图像进行仿射变换得到输出图像；

网格生成器，用于针对输出图像的每个坐标点，根据仿射变换的六个参数通过矩阵运算得到输入图像的坐标点；

采样器，用于针对网格生成器得到的输入图像的坐标点，以其相邻像素值为采样信息采用双线性插值法得到坐标点的像素值；

在步骤S3内，四个卷积层依次为卷积层conv1、卷积层conv2、卷积层conv3和卷积层conv4，卷积层conv1包括三个卷积块，卷积层conv2包括四个卷积块，卷积层conv3包括六个卷积块，卷积层conv4包括三个卷积块。

2.根据权利要求1所述的一种基于可变形卷积的输电塔销钉缺陷检测方法，其特征在于，在步骤S3内，可变形卷积层由卷积块加上像素偏移量得到，所述像素偏移量的学习是利用插值方法通过反向传播进行学习。

3.根据权利要求1所述的一种基于可变形卷积的输电塔销钉缺陷检测方法，其特征在于，步骤S1包括如下步骤：

步骤S11、基于ResNet50的特征提取：设定有五个阶段，第一阶段通过卷积和池化方式对输入的图像进行预处理，从而输出特征图C1，第二阶段至第五阶段对输入的特征图进行特征提取，其中，第二阶段的输入为第一阶段的输出，第三阶段的输入为第二阶段的输出，第四阶段的输入为第三阶段的输出，第五阶段的输入为第四阶段的输出，第二阶段至第五阶段输出的特征图分别为特征图C2、特征图C3、特征图C4和特征图C5；

步骤S12、特征金字塔的构建：将特征图C2、特征图C3、特征图C4、特征图C5构成特征金字塔，从特征图C5开始，特征图C5经过1×1卷积得到特征图P5，将特征图P5通过最近邻距离方法进行两倍上采样得到特征图P5＇，特征图C4通过1×1卷积调整通道数得到特征图C4＇，分辨率相同的特征图P5＇和特征图C4＇逐元素相加进行特征融合处理，得到相加的特征图，并进行3×3的卷积处理，得到特征图P4；将特征图P4通过最近邻距离方法进行两倍上采样得到特征图P4＇，特征图C3通过1×1卷积调整通道数得到特征图C3＇，分辨率相同的特征图P4＇和特征图C3＇逐元素相加进行特征融合处理，得到相加的特征图，并进行3×3的卷积处理，得到特征图P3；将特征图P3通过最近邻距离方法进行两倍上采样得到特征图P3＇，特征图C2通过1×1卷积调整通道数得到特征图C2＇，分辨率相同的特征图P3＇和特征图C2＇逐元素相加进行特征融合处理，得到相加的特征图，并进行3×3的卷积处理，得到特征图P2；

步骤S13、目标建议框分析：对特征图P5、特征图P4、特征图P3、特征图P2和最大池化层，分别设定以16×16、32×32、64×64、128×128、256×256为锚框大小，以图像中的每个点为中心设定相应的锚框，将每个锚框视为目标感兴趣区域；

步骤S14、目标感兴趣区域池化：对每一个目标感兴趣区域，在特征图P5、特征图P4、特征图P3、特征图P2中选择特征图，进行池化操作；

步骤S15、目标区域调整及类别判断：将池化操作的结果输入全连接层，全连接层的输出经1×1卷积输入到目标预测框和激活函数Sigmoid中，目标预测框调整目标感兴趣区域大小后反馈到目标感兴趣区域的池化处理，通过不断迭代得到准确的目标区域，激活函数Sigmoid对输入的特征值进行判断，如果激活函数Sigmoid的输出大于基准阈值λ，则认为检测到目标。

4.根据权利要求1所述的一种基于可变形卷积的输电塔销钉缺陷检测方法，其特征在于，所述定位网络由两个卷积操作和一个全连接层构成，将输入的图像先后进行两个卷积操作，然后将卷积操作的输出进而输入至全连接层，回归出六个参数值，形成一个2×3的矩阵，该矩阵的值对应着仿射变换的参数。