[发明专利]一种基于双重神经网络的产品表面缺陷检测方法及系统

权利要求书

1.一种基于双重神经网络的产品表面缺陷检测方法，其特征在于：包括以下步骤：

S1：收集带有缺陷的样本图像；

S2：对样本图像进行处理，形成数据集；

S3：采用数据集分别训练提前搭建好的第一神经网络和第二神经网络，得到对应的第一缺陷预测模型和第二缺陷预测模型；

S4：利用CCD探测阵列实时采集待测图像；

S5：将待测图像进行预处理后依次输入第一缺陷预测模型和第二缺陷预测模型，得到图像上缺陷的类型、尺寸及位置。

2.如权利要求1所述的一种基于双重神经网络的产品表面缺陷检测方法，其特征在于：所述步骤S2中对样本图像进行处理包括以下步骤：

S21：统一样本图像的尺寸；

S22：采用中值滤波算法对样本图像进行降噪，使用自适应限制对比度自适应直方图均衡化算法通过计算图像的局部直方图，重新分布亮度改变图像对比度对图像进行增强，使样本图像中的缺陷更加突出；

S23：对样本图像进行平移、翻转或旋转，扩充样本；

S24：采用labelimg标记样本图像上的缺陷区域以及缺陷的缺陷的类型、尺寸和位置，将标记好的样本图像作为训练的数据集。

3.如权利要求1所述的一种基于双重神经网络的产品表面缺陷检测方法，其特征在于：所述步骤S3中第一神经网络采用yolo-v3神经网络进行训练得到第一缺陷预测模型，所述yolo-v3神经网络包括Darknet-53主干特征提取网络、25个卷积层以及两个全连接层，其中，Darknet-53采用残差网络Residual。

4.如权利要求3所述的一种基于双重神经网络的产品表面缺陷检测方法，其特征在于：所述yolo-v3神经网络进行训练前，将进行训练的数据集中每张样本图片分成S*S个网格，每个网格产生多个可能包含缺陷的矩形框，每张样本图片上标签的位置由六个参数构成，分别为w，h，x，y，conf，其中，w，h是矩形框宽高，x，y是矩形框中心位置的调整参数，conf是矩形框中是否含有缺陷的置信度。

5.如权利要求4所述的一种基于双重神经网络的产品表面缺陷检测方法，其特征在于：所述Darknet-53主干特征提取网络中的每个卷积部分采用DraknetConv2D结构，所述DraknetConv2D结构每一次卷积的时候进行L2正则化，完成卷积后进行BatchNormalization标准化与LeakyReLU，LeakyReLU是给所有负值增加一个非零的斜率。

6.如权利要求1所述的一种基于双重神经网络的产品表面缺陷检测方法，其特征在于：所述步骤S3中第二神经网络采用Faster RCNN神经网络进行训练得到第二缺陷预测模型，包括以下步骤：

S31：采用带有残差结构的ResNet50作为主干特征提取网络，以提取数据集中缺陷图像特征；

S32：使用RPN生成检测框，将得到的特征图像作为输入，经过一次3*3的卷积，和两次1*1的卷积，得到预选框；

S33：将预选框和原始的特征图像一起输入到ResNet50的池化层，通过全连接层与softmax函数计算每个目标具体属于的类别。

7.如权利要求6所述的一种基于双重神经网络的产品表面缺陷检测方法，其特征在于：所述ResNet50包括依次设置的Conv2d卷积层、批量标准化层、ReLU函数层、最大池化层、4个卷积块、12个标识块、平均池化层以及全连接层。

8.如权利要求6所述的一种基于双重神经网络的产品表面缺陷检测方法，其特征在于：利用Imagenet数据集对Faster RCNN神经网络进行预训练，将预训练好的Faster RCNN神经网络用于步骤S3中的训练。