[发明专利]基于FCN+FC-WXGBoost的工业产品表面缺陷检测方法

权利要求书

1.基于FCN+FC-WXGBoost的工业产品表面缺陷检测方法，其特征在于，包括以下步骤：

1)对选取的工业产品表面图片及其标注进行尺寸标准化和归一化操作，得到训练图片集；

2)对训练图片集进行在线随机数据增强，包括上下左右随机翻转，并将所有图片分为多个批次；

3)根据步骤2)分好的批次，将一个批次的图片输入全卷积网络FCN进行训练，得到输出结果的同时进行反向传播，更新FCN网络参数，并输出网络下采样得到的特征图；

将图片和标注送入FCN进行训练，输入图片为H*W的RGB图片，其标注信息修改为[0,1]二值矩阵anno'，其中背景为0，前景为1，尺寸为H*W，H和W为图片的高和宽；

全卷积网络FCN的结构分为两个部分，前半部分为卷积层和池化层组合的下采样部分，中间部分为由两个卷积层组成的卷积部分，后半部分为反卷积层组成的上采样部分，表示为C＝{C₁,C₂,C₃,C₄,C₅}和N以及D＝{D₁,D₂,D₃}，其中C表示下采样部分，C_i表示多个卷积层连接一个池化层，i＝1,2,3,4,5，共有五层；N表示卷积部分；D表示上采样部分，其中D_i表示一个反卷积层，i＝1,2,3，共有三层；整个网络每一层输出的特征图分别表示为(m₁,m₂,...,m₉)；全卷积网络FCN采用了一种跳级结构，以得到更精准的预测结果，具体操作为：将m₆输入D₁，反卷积进行2倍上采样，得到m₇；再将m₄剪裁为m₇的尺寸，二者叠加后再输入D₂，同样进行2倍上采样，得到输出m₈；将m₃剪裁为m₈的尺寸，二者叠加之后输入D₃进行8倍上采样，得到和输入图片相同尺寸的输出m₉；

全卷积网络FCN的输出m₉为H*W的一维图片，其像素值取值为[0,1]，表示原图中该位置像素为缺陷的概率，选取阈值μ将预测概率二值化为0或1，得到输出的二值化一维图片p；则该网络的损失函数为每个像素的交叉熵损失的叠加，即：

其中，CE_i,j(p_i,j,y_i,j)表示单个像素点(i,j)的交叉熵损失，p_i,j表示输出p中第(i,j)个像素的预测值，y_i,j表示对应像素的真实值，总的损失loss(p,y)为所有像素点损失的加和；

4)将步骤3)得到的每一批次图片上的输出结果进行DBSCAN聚类，并将同一类的像素点使用最小外接矩形标出感兴趣区域，将所有感兴趣区域和步骤3)中提取的特征图输入特征提取算法RoIAlign，提取感兴趣区域特征；

5)搭建全连接网络FC，将步骤4)中提取出的感兴趣区域特征输入全连接网络FC进行训练，通过四步交替训练法，更新全卷积网络FCN和全连接网络FC的权重；其中，使用四步交替法训练全卷积网络FCN和全连接网络FC，其具体步骤为：

5.1)首先训练C,N和D组成的全卷积网络FCN，计算全卷积网络FCN的损失进行反传，得到感兴趣区域，其中C,N和D分别表示网络的下采样部分，卷积部分和上采样部分；

5.2)固定D部分参数，利用上一步得到的感兴趣区域训练C和FC组成的网络，计算全连接网络的损失进行反传，得到分类结果，其中FC表示全连接网络部分；

5.3)固定C和FC，计算全卷积网络的损失进行反传，微调N，D网络参数；

5.4)固定C，N和D，计算全连接网络的损失进行反传，微调FC网络参数；

6)重复步骤3)至步骤5)，直至训练图片集内的所有批次都已经参与训练，即完成一个轮次的训练；

7)完成一个轮次后，重复步骤2)至步骤6)进行新一轮的训练，直至达到设定的迭代轮次为止；

8)对极限梯度提升算法XGBoost进行加权改进，得到加权极限梯度提升算法WXGBoost，使用WXGBoost算法进行建模并在建模过程中使用克隆选择算法调参，将全连接网络FC的输出层替换为WXGBoost模型，得到FC-WXGBoost网络，再与全卷积网络FCN组合，得到FCN+FC-WXGBoost网络模型；

9)将待检测的工业产品表面图片输入步骤8)中得到的FCN+FC-WXGBoost网络模型，即可输出待检测图片的缺陷位置和类别信息。