[发明专利]一种基于特征融合的卷积神经网络瑕疵检测方法

说明书

本发明公开了一种基于特征融合的卷积神经网络瑕疵检测方法，包括步骤：1)对数据集进行预处理；2)对输入到模型卷积网络中的图片，进行resize、padding和归一化操作；3)将瑕疵图片和模板图片输入到Resnet101卷积网络中进行特征提取，并分别构建出瑕疵图片和模板图片的FPN网络；4)将瑕疵图片和模板图片的FPN网络中对应的特征层的通道进行叠加，采用卷积的方式进行融合；5)基于融合后的特征层进行初步的候选区域提取，再进行ROI池化操作；6)级联多个ROI池化层和分类、回归层构成Cascade R‑CNN网络，对输入的候选区域进行分类和回归；7)选定优化器，对模型进行训练；8)将待预测图片输入到训练好的模型中，输出瑕疵检测结果。本发明可提高瑕疵检测过程中对瑕疵的分类准确率和mAP值。

技术领域

本发明涉及瑕疵检测的技术领域，尤其是指一种基于特征融合的卷积神经网络瑕疵检测方法。

背景技术

在工业生产制造行业中，关于产品的瑕疵检测是影响产品品质的关键问题。工业制造过程是一个复杂的、多变量的过程，在产品制造过程及运输过程中，由于设备故障或者人为因素的干扰容易在产品上造成各种瑕疵，影响产品的质量。而瑕疵检测可以转换为一个缺陷检测中的分类和定位问题。在产品的生产及运输过程中由于各种因素的影响会产生不同的瑕疵，而生成瑕疵的形状、大小和数量等都是不规则的。这就导致了产品瑕疵不仅在数量分布上是高度不平衡的，在瑕疵的尺寸和形状上也会为瑕疵检测带来很大的困难。

传统的机器学习算法往往是基于图像处理和模式识别技术，通过提取产品表面纹理特征的功率谱密度进行分析，来完成对产品瑕疵的检测。这种检测方案过于依赖先验知识，且检测结果的准确率不高，无法定位产品中瑕疵的位置。在实际的工业应用场景中瑕疵检测的准确率是一个关键的指标，即在瑕疵检测的场景中，算法的召回率往往更被看中，准确识别出含有瑕疵的样本，分析瑕疵样本的数量、种类及尺寸等信息，更有助于工业生产中的设备调整，完善生产进程。因此，应当注重研究提升瑕疵识别的准确率及瑕疵的位置分布等信息的检测方法。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于特征融合的卷积神经网络瑕疵检测方法，该方法通过在已有的深层神经网络中引入特征融合技术，将数据集中的模板图片和瑕疵图片的特征提取后进行卷积融合，之后再进行瑕疵类别的分类及瑕疵框的回归，该方法可以有效提高瑕疵检测的准确率及评判瑕疵定位精度指标mAP值，进而增强产品生产过程中瑕疵检测环节的整体性能。

为实现上述目的，本发明所提供的技术方案为：一种基于特征融合的卷积神经网络瑕疵检测方法，包括以下步骤：

1)对数据进行预处理：对初始的样本图片X_defect进行切割和翻转，分别得到数据集X_{defect_croped}和X_{defeect_fliped}，同时得到对应切割和翻转后的瑕疵标签文件；该预处理仅针对瑕疵图片，对于模板图片不做预处理；

2)对输入到卷积网络中的图片，包括X_{defeect_fliped}中的瑕疵图片和模板图片，进行resize、padding和归一化操作，同时对瑕疵标签结合图片resize时的缩放比例进行缩放，对图片进行padding时，应将瑕疵标签结合padding时的参数进行调整，而对图片进行归一化处理时，不用对瑕疵标签进行特定处理；

3)将瑕疵图片和模板图片输入到Resnet101卷积网络中进行特征提取，选择提取出来的特征图中的特定4层进行特征金字塔网络(Feature Pyramid Network，简称FPN)的构建，并分别构建出瑕疵图片和模板图片的FPN网络；

4)将瑕疵图片的FPN网络和模板图片的FPN网络中对应的特征层的通道进行叠加，之后采用卷积的方式进行融合，得到融合后的特征层；