[发明专利]基于分割+决策的二阶段残差注意力网络的导光板缺陷检测方法

权利要求书

1.一种基于“分割+决策”的二阶段残差注意力网络的导光板缺陷检测方法，其特征在于，包括以下步骤：

步骤1、导光板图像采集：在导光板生产线末端，利用高分辨率工业相机进行导光板图像采集并传递给上位机进行处理；

步骤2、导光板图像预处理：

在上位机中，利用阈值分割技术来剔除步骤1中采集得到的导光板图像中所包含的黑色背景，获得导光板ROI的区域图像；

然后将导光板ROI的区域图像裁剪成一组尺寸为1*224*224的小图像，相邻的图像之间有1/10图像宽度的重叠；

步骤3、建立并训练、测试“分割+决策”的二阶段残差注意力网络，包括分割子网和决策子网，然后保存并输出训练好的“分割+决策”的二阶段残差注意力网络；

步骤4、使用训练好的“分割+决策”的二阶段残差注意力网络进行缺陷检测，并获得结果：

将通过步骤2获得的一组尺寸为1*224*224图像送入步骤3中训练好的“分割+决策”的二阶段残差注意力网络，从分割子网得到对应的掩模，呈现缺陷的轮廓及位置，从决策子网得到决策结果，大于0.5表示含有缺陷，小于0.5表示不含缺陷，最后在原图中标出对应的掩模和决策结果。

2.根据权利要求1所述的一种基于“分割+决策”的二阶段残差注意力网络的导光板缺陷检测方法，其特征在于所述步骤3建立并训练、测试“分割+决策”的二阶段残差注意力网络的步骤具体如下：

步骤3-1、构建分割子网：

所述分割子网采用U型的网络结构，包括编码器和解码器，编码器包括从上往下依次为一个核尺寸为3*3的标准卷积Conv3*3+批归一化BN+激活函数层和三组残差注意力单元RAU+平均池化Average-Pool层，依次输出四种分辨率的特征图；解码器包括从下往上三个级联的跳层连接skip connection结构，将四种分辨率的特征图进行了融合得到最终特征图Last Feature Maps，最后将最终特征图Last Feature Maps通过一个核尺寸为1*1的标准卷积Conv1*1+批归一化BN+激活函数层整合特征，得到分割子网的输出特征图Segmentation Output，尺寸为1*224*224分割子网的输出特征图；

步骤3-2、构建决策子网：

所述决策子网，包括重要决策节点和辅助决策点；将步骤3-1分割子网的输出特征图作为最重要的信息，直接分别通过全局平均池化GAP层和全局最大池化GMP层，获得两个重要决策节点；将分割子网中第三个跳层连接skip connection结构输出的最终特征图和分割子网的输出特征图作为输入，依次通过一组核尺寸为3*3的标准卷积Conv3*3+最大池化Max-Pool层结构和两组残差注意力单元RAU+最大池化Max-Pool层结构，辅助信息从分割子网的输出特征图和第三个跳层连接skip connection结构输出的最终特征图提取出，然后辅助信息再依次通过全局平均池化GAP层和全局最大池化GMP层，获得辅助决策节点；最后，通过一个全连接fully connected层，输出最终决策节点Decision Output，该节点的输出是缺陷为真的概率；

将分割子网和决策子网合为一个整体网络为“分割+决策”的二阶段残差注意力网络；

步骤3-3、训练和测试网络:

1、建立损失函数

分割子网训练采用的损失函数Loss_segmentation如下公式所示：

Loss_segmentation＝0.5×Loss_bce+0.5×Loss_dice，

其中，H表示掩模标签的高，W表示掩模标签的宽，y_i为掩模标签的某一像素值，为分割子网输出的对应像素值，label为掩模标签，label^*为分割子网输出，smooth是固定值，为了防止除0错误；

决策子网采用的损失函数Loss_decision如下公式所示：

Loss_decision＝ylog(y^*)+(1-y)log(1-y^*)，

其中，y为分类标签，y^*为决策子网输出；

2、建立训练数据集

利用步骤1中采集导光板图像，包括缺陷图像422张，正常图像400张，手动对每个图像均设置两种标签：一种是掩模标签，另一种是分类标签，将含缺陷的导光板图像对应的分类标签设置为1，正常的不含缺陷的导光板图像对应的分类标签设置为0；

将上述图像集中的75张缺陷图像、75张正常图像及对应的标签设置成训练集，另外75张缺陷图像、75张正常图像及对应的标签设置成验证集，剩余的272张缺陷图像、250张正常图像和对应的标签设置成测试集；

3、网络训练

对使用PyTorch按步骤3-1和步骤3-2搭建“分割+决策”的二阶段残差注意力网络进行训练，训练中batch size取8，优化器采用Adam优化器；

第一步，先独立训练分割子网

将训练集作为分割子网的输入进行训练，对应分割子网的输出和掩模标签通过损失函数Loss_segmentation计算当前轮次分割子网的训练集损失，通过反向传播算法和梯度下降算法调整网络参数使训练集损失不断下降，再计算在验证集上的验证集损失，若当前训练轮次中验证集损失低于上一轮次中验证集损失，就保存当前轮次的保存当前模型及模型参数，包括各个跳层连接skip connection结构输出的特征图得和分割子网的输出特征图；如此，分割子网共训练500轮次；

第二步，冻结分割子网，训练决策子网

在训练决策子网过程中，不会更新分割子网的参数；上述第一步中，训练集通过分割子网得到第三个跳层连接skip connection结构输出的最终特征图得和分割子网的输出特征图，将这两者作为决策子网的输入进行训练，对应决策子网的输出和分类标签通过损失函数Loss_decision计算当前轮次决策子网的训练集损失，通过反向传播算法和梯度下降算法调整网络参数使训练集损失不断下降，再计算在验证集上的验证集损失，若当前训练轮次中验证集损失低于上一轮次中验证集损失，就保存当前轮次的模型及模型参数，决策子网共训练100轮次；

训练完成后得到训练好的“分割+决策”的二阶段残差注意力网络；

第三步、离线测试

使用测试集对训练好的“分割+决策”的二阶段残差注意力网络进行检测，统计检测的准确率。