[发明专利]基于增强不同层次特征表示的电力设备图像缺陷检测方法

权利要求书

1.一种基于增强不同层次特征表示的电力设备图像缺陷检测方法，其特征在于，包括以下步骤：

11)训练数据的获取：获取已标注缺陷的电力设备图像并进行预处理，组成训练数据集；

12)电力设备图像缺陷检测网络的构建：构建由不同层次特征表示网络、不同层次特征增强表示网络和缺陷检测模块组成的电力设备图像缺陷检测网络；

13)电力设备图像缺陷检测网络的训练：将训练数据集输入电力设备图像缺陷检测网络进行训练；

所述电力设备图像缺陷检测网络的训练包括以下步骤：

131)将训练数据集中的图片X:W*H输入电力设备图像缺陷检测网络的不同层次特征表示网络，W表示图片的宽度，H表示图片的高度；

1311)设定不同层次特征表示网络的第一单元：步长为2，卷积核大小为7*7，通道数为64，每个卷积后加批量归一化BN以及非线性激活函数Relu，输出记为s1：W/2*H/2*256；

1312)设定不同层次特征表示网络的第二单元：步长为2，卷积核大小为3*3，池化采用最大池化操作，然后堆叠了3个卷积块，每个卷积块分别包含64个通道的1*1卷积核、64个通道的3*3卷积、256个通道的1*1卷积，输出是卷积块的输入和输出之和记为s2：W/4*H/4*256；

1313)设定不同层次特征表示网络的第三单元：堆叠4个卷积块，每个卷积块分别包含128个通道的1*1卷积核、128个通道的3*3卷积、512个通道的1*1卷积，输出是卷积块的输入和输出之和记为s3：W/8*H/8*256；

1314)设定不同层次特征表示网络的第四单元：堆叠23个卷积块，每个卷积块分别包含256个通道的1*1卷积核、256个通道的3*3卷积、1024个通道的1*1卷积，输出是卷积块的输入和输出之和记为s4：W/16*H/16*256；

1315)设定不同层次特征表示网络的第五单元：堆叠3个卷积块，每个卷积块分别包含512个通道的1*1卷积核、512个通道的3*3卷积、2048个通道的1*1卷积，输出是卷积块的输入和输出之和记为s5：W/32*H/32*256；

132)通过不同层次特征表示网络得到s1、s2、s3、s4、s5共5个层级的特征图，将5个层级的特征图输入不同层次特征增强表示网络，将具有不同通道的特征图分别通过1*1*256的卷积进行通道归一化后，将特征图由高层级逐层经过上采样和低层级相加得到当前层级的特征图，再通过3*3卷积去混叠效应得到特征金字塔网络的输出，对低层级特征融入语义信息，其中，不同层次特征表示增强网络训练如下：

1321)针对特征图s1：w1*h1*256，其中w1＝W/2表示特征图s1的宽度，h1＝H/2表示特征图s1的高度，在通道层面做全局平均处理，即s1的所有通道直接相加做平均；特征图s2、特征图s3、特征图s4、特征图s5均做全局平均处理，其处理式如下：

其中，num表示每一层特征图的通道数量，此处为256，si^average表示si中256个通道的特征图si_channel,channel∈[1,256],i∈[1,5]，求平均的结果；

1322)针对每一层的通道特征图平均值实施2倍上采样自顶向下相加得到si^a,i∈[1,5]表示第一步增强不同层次特别表示：

1323)将si^a,i＝1,2,3,4,5尺寸归一化到s3^a大小得到运算中间符si^b,i＝1,2,3,4,5，然后针对各层的特征增强后的通道特征图平均值进行第二步特征增强，

即第二步特征增强后的不同特征层次表示

其中sj^c*si^c是矩阵进行softmax归一化操作后的中间运算符元素，这样sj^d是第二次增强后的特征，即按照特征与特征之间关系重组融合后的增强特征，不仅仅低层包含了高层特征，高层也包含了低层特征，让语义信息和位置信息按照特征之间的关系充分融合；

133)针对sj^d这5层特征，每层执行1*1*256卷积获取最终用于检测的256维通道特征sj^e：

134)缺陷检测网络的1*1*C卷积的分类分支使用softmax损失、1*1*4卷积的定位分支使用smoothL1损失，将特征增强后的特征sj^e,j∈{1,2,3,4,5}输入缺陷检测网络进行反向传播即可；

14)待检测电力设备图像的获取：获取待检测的电力设备图像，并进行预处理；

15)电力设备图像缺陷检测结果的获得：将预处理后的待检测电力设备图像输入训练后的电力设备图像缺陷检测网络，在电力设备图像中检测定位出缺陷结果。