[发明专利]基于改进型Cascade R-CNN的铝材表面缺陷检测方法

权利要求书

1.基于改进型Cascade R-CNN的铝材表面缺陷检测方法，其特征在于，包括以下步骤：

1)对铝材表面图片集进行尺寸标准化操作，其中含有缺陷的图片有对应的缺陷标注文件，根据图片是否含有缺陷标注文件将图片集划分为正常图片集和缺陷图片集；

2)将步骤1)得到的图片集进行归一化和在线随机数据增强，包括上下左右随机翻转，并划分批次；

3)将步骤2)得到的每个批次的图片和标注，使用改进型Cascade R-CNN算法进行迭代训练，训练完所有批次后完成一个轮次的训练；

所述改进型Cascade R-CNN 算法包括主干网络、候选生成网络、区域提议网络、分类回归网络四个部分，分别用来提取特征、生成候选框、候选框的前后景分类和微调以及候选框的最终分类和微调；其中，使用卷积神经网络ResNet-101和特征金字塔FPN作为主干网络，候选生成网络使用Light Guided Anchoring，区域提议网络使用稀疏目标区域提议网络，分类回归网络使用稀疏目标级联分类回归网络；

候选生成网络Light Guided Anchoring是Guided Anchoring上的改进，GuidedAnchoring由三个子模块构成，分别为形状预测模块、位置预测模块和特征调整模块，其中，形状预测模块和位置预测模块由两个并联的1*1卷积构成，输入为特征图F_I，输出为分别是特征图上每个点的候选框形状I_shape和候选框出现概率I_loc；特征调整模块串联在形状预测模块之后，输入为特征图上每个点的候选框形状I_shape和原始特征图F_I，它首先将I_shape输入一个1*1卷积，得到一个特征调整偏移量offset，再将特征调整偏移量offset和特征图F_I输入一个3*3可形变卷积进行特征调整，得到输出特征图F_o；Light Guided Anchoring为分别训练正常批次和缺陷批次设计了两个通道，分别为缺陷批次通道和正常批次通道；当输入批次为缺陷批次时，将图片输入缺陷批次通道，缺陷批次通道包含了形状预测模块、位置预测模块和特征调整模块；当输入批次为正常批次时，将图片输入正常批次通道，正常批次通道仅包含了位置预测模块，输出为候选框形状I_shape，候选框出现概率I_loc＝0，输出特征图F_o＝F_I，且两个通道的位置预测模块共享所有参数；

稀疏目标区域提议网络是区域提议网络上的改进，区域提议网络包括一个3*3卷积串联着2个并联的1*1卷积，分别为区域提议网络的分类层和回归层，输入为候选生成网络的输出特征图F_o、候选框形状I_shape和候选框出现概率I_loc；稀疏目标区域提议网络为分别训练正常批次和缺陷批次设计了两个通道，分别为缺陷批次通道和正常批次通道；输入的特征图首先经过3*3卷积，在此之后，当输入批次为缺陷批次时，将图片输入缺陷批次通道，缺陷批次通道包含了分类层和回归层；当输入批次为正常批次时，将图片输入正常批次通道，正常批次通道仅包含了分类层，且两个通道的位置预测模块共享所有参数；稀疏目标区域提议网络的输出为产生的所有候选框B₀；

稀疏目标级联分类回归网络是级联分类回归网络上的改进，级联分类回归网络是由三个相同结构的分类归回归网络N₁、N₂、N₃串联而成；每个分类回归网络由RoIAlign、全连接层、分类层和回归层组成；三个分类归回归网络N₁、N₂、N₃的区别在于，每个网络设定的区分前景和背景的阈值不同，该阈值表示候选框与矩形标注框的交并比IoU，计算公式为：

其中，bbox为候选框，gt为矩形标注框；分类回归网络N₁的输入为特征图F_o和候选框B₀，输出为候选框B₁和它的分类结果与置信度；分类回归网络N₂的输入为特征图F_o和候选框B₁，输出为候选框B₂和它的分类结果与置信度；分类回归网络N₃的输入为特征图F_o和候选框B₂，输出为预测框B₃和它的分类结果与置信度；稀疏目标级联分类回归网络调整了级联分类网络的训练方式，当输入为缺陷批次时，网络正常训练；当输入为正常批次时，分类归回归网络N₁、N₂、N₃的回归层参数固定，不进行更新，且分类归回归网络N₁、N₂、N₃的训练速率乘以系数r，r＜1；稀疏目标级联分类归回网络的输出为预测框B₃和它的分类结果cls与置信度score；

所述步骤3)包括以下步骤：

3.1)将步骤2)中得到的一个批次输入主干网络，即卷积神经网络ResNet-101和特征金字塔FPN，提取特征，输出特征图F_I；

3.2)将步骤3.1)中得到的特征图F_I输入候选生成网络Light Guided Anchoring，根据批次选择对应的通道进行训练，输出特征图F_o、候选框形状I_shape和候选框出现概率I_loc；

3.3)将步骤3.2)得到的特征图F_o、候选框形状I_shape和候选框出现概率I_loc输入稀疏目标区域提议网络，根据批次选择对应的通道进行训练，得到候选框B₀；

3.4)将步骤3.3)中得到的候选框B₀和步骤3.2)中得到的特征图F_o输入稀疏目标级联分类回归网络，根据批次选择对应的训练方法，输出预测框B₃和它的分类结果cls与置信度score；

4)完成一个轮次的训练后，重复进行步骤2)至步骤3)，直至达到设定的迭代轮次，把网络中的参数输出并保存，得到铝材表面缺陷检测模型；

5)将待检测的铝材表面图片输入铝材表面缺陷检测模型，即可输出待检测的铝材表面图片的缺陷位置和类别信息。