[发明专利]一种基于卷积神经网络的片材表面缺陷图像识别处理方法

权利要求书

1.一种基于卷积神经网络的片材表面缺陷图像识别处理方法，其特征在于，包括以下步骤：

（1）采集经过标记的包含各类缺陷类型的图像数据，预处理后根据缺陷图像所属的类别构建训练标签，并划分为训练集、验证集和测试集；

（2）构建以二维卷积神经网络为核心的深度学习模型，通过训练集对深度学习模型进行训练，通过验证集在反向传播的过程中优化模型参数，评估模型分类性能，通过测试集衡量模型的泛化性能；

（3）深度学习模型训练完毕后，将待检测的片材图像预处理后输入深度学习模型中，输出当前图像中缺陷类别的分类结果；

（4）通过加权梯度类激活映射的方式，获得分类结果的可视化解释；具体过程为：

（4-1）对深度学习模型中最后一层二维卷积神经网络中每个滤波单元输出的特征图的权重进行重构；

其中，是特征提取后最后一层卷积层的输出，代表输入数据在像素空间上被滤波单元所激活；代表对于一个特定的类所对应的最终分类得分；是常数，代表特征图中像素数量；重构后的权重如下：

其中，为线性整流函数，表示类别和卷积特征图的像素梯度的加权系数，表示每个滤波单元对应的特征图对最后分类输出类别的重要性；

（4-2）对于某一特定类别，计算该类别在softmax分类结果输出之前的输入，公式如下：

（4-3）将结构重构的权重代入分类得分公式，得到：

考虑只作为梯度回流的阈值，在推导式中先屏蔽，同时对等式两边求关于的一阶偏导和二阶偏导：

根据上述等式，进一步得到加权系数，

（4-4）将得到的加权系数带入重构的权重中得到：

（4-5）将加权梯度类激活图重采样到原始输入图像的大小，再以热力图的方式映射到原始输入图像上便得到模型在分类决策过程中的可视化解释；

（5）根据深度学习模型输出的分类结果，基于目标缺陷的轮廓计算多种缺陷属性，根据目标缺陷属性的特征值设定相应限定规则，对缺陷类型进一步分类。

2.根据权利要求1所述的基于卷积神经网络的片材表面缺陷图像识别处理方法，其特征在于，步骤（1）中，以欠采样的方式，通过随机抽取与各类缺陷类型样本数量相当的背景图像样本，对数据集进行样本均衡。

3.根据权利要求1所述的基于卷积神经网络的片材表面缺陷图像识别处理方法，其特征在于，步骤（1）中，所述的图像数据由单通道的灰度图像或三通道的RGB图像组成；若为RGB图像，则对每张图像先进行灰度化。

4.根据权利要求1所述的基于卷积神经网络的片材表面缺陷图像识别处理方法，其特征在于，步骤（1）中，所述的预处理包括对图像数据分别进行水平翻转、垂直翻转，以及顺时针旋转90°、180°、270°，并将数据集中的所有样本统一缩放成相同的像素大小。

5.根据权利要求1所述的基于卷积神经网络的片材表面缺陷图像识别处理方法，其特征在于，步骤（2）中，所述的深度学习模型包含多个二维卷积神经网络组成的卷积模块，卷积模块中包含卷积层、最大池化层、批归一化层和Dropout层；在卷积模块后设置全连接层，最后一层采用以softmax为激活函数的全连接层进行分类。

6.根据权利要求1所述的基于卷积神经网络的片材表面缺陷图像识别处理方法，其特征在于，所述深度学习模型训练的结束条件为损失函数收敛，损失函数如下：

其中，代表整体损失，代表样本数，代表类别数，代表第个样本对应类j的标签，代表第个样本是类j的概率。

7.根据权利要求1所述的基于卷积神经网络的片材表面缺陷图像识别处理方法，其特征在于，步骤（5）中，基于目标缺陷的轮廓计算多种缺陷属性的具体过程为：

（5-1）由于积分图中每个单元存储的信息是原图中此位置左上角所有像素之和，因此利用优化的积分图算法对一张像素大小灰度化后的缺陷图像直接求积分图，公式如下：

其中，代表积分图某一坐标点的值，代表原图某一坐标点处的像素值；

（5-2）采用改进式Sauvola自适应阈值法对缺陷灰度图进行二值化，并对局部均值采用开方运算，公式如下：

其中，代表局部均值偏差，代表局部灰度均值，代表某一点像素值对应的二值化阈值，代表修正系数，取值范围为(0,1)；代表二值化后的像素值；

（5-3）创建十字形的结构元素，并对二值化后的缺陷图像进行形态学滤波闭运算，得到去除噪声平滑图像的效果；同时，闭运算的扩展性使得经过二值化后缩小的目标缺陷区域得到了一定的补偿；

（5-4）最后获取目标缺陷的轮廓，基于轮廓计算缺陷属性，所述的缺陷属性包括但不限于目标灰度均值、灰度标准差、长、宽、面积、长轴和短轴；其中，长和宽由目标缺陷最大外接矩形的长和宽来计算，长轴和短轴由带旋转角的最小外接矩形的长和宽来计算。