[发明专利]基于卷积神经网络多级特征的钢板表面缺陷检测方法

权利要求书

1.一种基于卷积神经网络多级特征的钢板表面缺陷检测方法，其特征在于：包括以下步骤：

步骤1、选取适当的基准网络，然后使用大型数据集ImageNet对该基准网络进行预训练；

步骤2、建立用于微调训练的专用缺陷检测数据集；

步骤3、基于步骤1的基准网络，搭建整体检测网络，并设置该网络结构的超参数，包括卷积层数、卷积核数、卷积核滑动步长、池化方式和激活函数类型；

步骤4、搭建多级特征融合网络，并将其与整体检测网络合并，得到缺陷检测网络；

步骤5、构建缺陷检测网络的损失函数；

步骤6、基于图像中心策略设置缺陷检测网络的训练超参数，包括优化方法、学习率、迭代次数、权重初始化策略、权重衰减参数、动量系数和数据增强方法；

步骤7、使用五步联合训练法对缺陷检测网络进行训练，使基准网络、多级特征融合网络和RPN共享卷积层和计算量；

步骤7.1：将多级特征融合网络和基准网络进行训练，训练后多级特征融合网络和基准网络共享卷积层，得到训练好的缺陷检测网络模型；步骤7.2：基于步骤7.1训练好的缺陷检测网络模型训练RPN，生成候选区域；此时训练好的缺陷检测神经网络和RPN没有共享卷积层；

步骤7.3：基于步骤7.2生成的候选区域，训练缺陷检测网络，对缺陷检测网络进行微调，得到新的缺陷检测网络模型；

步骤7.4：基于步骤7.3训练好的缺陷检测网络模型训练RPN，生成候选区域；将此训练的RPN作为最终的RPN模型；

步骤7.5：基于步骤7.4生成的候选区域，训练缺陷检测网络，对缺陷检测网络进行微调，得到新的缺陷检测网络模型；微调后，缺陷检测网络与RPN共享卷积层，将训练后得到的新缺陷检测网络作为最终的缺陷检测网络模型；

最后，将步骤7.4生成的RPN模型和步骤7.5生成的缺陷检测模型联合，得到训练完成的缺陷检测网络模型；

步骤8、使用训练完成的缺陷检测网络来执行钢板表面缺陷检测的任务，得出缺陷的类别分数及包围框坐标；

所述步骤4的具体方法为：

步骤4.1、所述多级特征融合网络包括四个分支，定义为{B2,B3,B4,B5}，与残差网络的四个残差模块{R2,R3,R4,R5}输出的特征图对应；每个分支连接在四个残差模块的最后一层，然后分别处理对应的特征图，将其分辨率与尺寸统一；

多级特征融合网络的每个分支的具体设置分别为：

B2分支使用两层堆叠的3x3卷积层来连续减小残差模块R2输出的特征图的分辨率尺寸；对于残差网络ResNet34和ResNet50，残差模块R2输出的特征图的尺寸为56x56，将其尺寸减小为14x14；然后用一层1x1卷积层进行降维，卷积核数设为128和512，将B2分支输出的特征图的维度与多级特征融合网络输出的特征图的维度一致；B2分支输出的特征图的最终尺寸为14x14x128和14x14x512；

B3分支使用一层最大池化层来减小残差模块R2输出的特征图的分辨率尺寸；对于残差神经网络ResNet34和ResNet50，残差模块R3输出的特征图的尺寸为28x28，将其尺寸减小为14x14，其中，最大池化层的滑动窗口尺寸设为3x3，步长为2；由于残差模块R3输出的特征图的维度与多级特征融合网络输出的特征图的维度相同，为128和512，不需要进行维度调整；B3分支输出的特征图的最终尺寸为14x14x128和14x14x512；

B4分支不需要进行分辨率尺寸调整，因为残差模块R4输出的特征图的分辨率尺寸被设为多级特征融合网络输出特征图的尺寸，即14x14；然后使用一层1x1卷积层来降低残差模块R4输出的特征图的维度，卷积核数设为128和512，将B4分支输出的特征图的维度与多级特征融合网络输出的特征图的维度一致；B4分支输出的特征图的最终尺寸为14x14x128和14x14x512；

B5分支使用反卷积层来增加残差模块R5输出的特征图的分辨率尺寸，对于残差网络ResNet34和ResNet50，残差模块R5输出的特征图的尺寸为7x7，将其尺寸增加为14x14；然后，使用一层1x1卷积层进行升维，卷积核数设为128和512，将B5分支输出的特征图的维度与多级特征融合网络输出的特征图的维度一致；B5分支输出的特征图的最终尺寸为14x14x128和14x14x512；

步骤4.2、将多级特征融合网络每个分支输出的特征图进行L2标准化处理，然后依次进行融合，得到多级特征；最终，多级特征融合网络的输出特征图尺寸为14x14x512和14x14x2048；

步骤4.3、将多级特征融合网络接入RPN网络，进行候选区域提取；通过RPN网络在多级特征上滑动，获取锚点；然后根据残差模块R4的卷积核总滑动步长，映射回原图像获得锚点框；将锚点框与真实框的IOU值对比，获得ROI的预测框，即候选区域；最后，接入ROI池化层，提取基于候选区域的一个固定尺寸的特征向量，尺寸设为7x7；

步骤4.4、将ROI池化层输出的特征向量接入全局平均池化层，以便于计算；再将全局平均池化层输出的特征向量接入缺陷检测网络的两个输出层，其中一个为使用softmax函数进行计算的缺陷分类输出层，另一个为利用smoothL1函数进行计算的缺陷定位输出层。