[发明专利]神经网络训练方法、工件表面缺陷分类与检测方法及装置

说明书

本发明公开了一种神经网络训练方法、工件表面缺陷分类与检测方法及装置，属于机器视觉工业检测领域，首先通过小样本深度学习快速定位工件表面缺陷的像素坐标区域，然后提取该区域内的缺陷区域，其对应区域应为不规则区域，进而实现缺陷的分类与量化。缺陷分类结果可以有效地在检测到的图像中提供更多的信息，并且可以用于评估测试样品并提出制造过程的影响因素；缺陷量化结果可以快速地对工业加工生产工艺进行判断，有助于改善工业加工零部件的生产质量。

技术领域

本发明属于机器视觉工业检测领域，更具体地，涉及一种神经网络训练方法、工件表面缺陷分类与检测方法及装置。

背景技术

随着工业的快速发展，基于机器学习的自动表面异常检测已然成为一个有趣且有前途的研究领域，对视觉检测的应用领域具有非常高的直接影响。深度学习方法已成为完成此任务的最合适方法，其允许检查系统通过简单地显示一些示例图像来学习检测表面异常。尽管引入深度可以提高缺陷检测的速度和准确性，但是截止目前，从缺陷检测结果中评估和改进制造过程的有效建议仍然是一个问题，其主要困难在于，缺陷检测只能检测缺陷的存在，而不能识别缺陷特征的细节，例如缺陷的类别和大小。因此从测量的表面特征和产品缺陷评估生产状态构建智能缺陷分类系统的需求很高。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提出了一种神经网络训练方法、工件表面缺陷分类与检测方法及装置，由此解决现有缺陷检测只能检测缺陷的存在，而不能识别缺陷特征的细节，进而导致无法从缺陷检测结果中评估和改进制造过程的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种神经网络训练方法，包括：

基于包含不同缺陷类别的样本图像，提取各所述样本图像的目标区域分别构成目标图像，其中，所述目标区域包括缺陷区域；

对各所述目标图像中的缺陷区域像素值进行标注，以区分不同的缺陷类型，并提取各所述目标图像中的缺陷区域的坐标值，由各所述目标图像、各所述目标图像的缺陷类型及各所述目标图像中的缺陷区域的坐标值构成第一训练样本集，由所述第一训练样本集训练缺陷定位模型；

由各所述目标图像及经过像素值标注后的目标图像构成第二训练样本集，由所述第二训练样本集训练缺陷分割模型。

优选地，所述对各所述目标图像中的缺陷区域像素值进行标注，以区分不同的缺陷类型，包括：

提取各所述目标图像中的缺陷区域的轮廓，并将各轮廓内的区域像素值全部置为缺陷类别对应的像素值。

优选地，所述提取各所述目标图像中的缺陷区域的坐标值，包括：

提取各所述目标图像中的缺陷区域的外接矩形，并记录各外接矩形对应坐标值x1,y1,x2,y2，其中，x1为外接矩形左上角点x方向的像素坐标，y1为外接矩形左上角点y方向的像素坐标，x2为外接矩形右下角x方向的像素坐标，y2为外接矩形右下角y方向的像素坐标。

优选地，所述缺陷定位模型由若干个卷积层和若干个全连接层构成，所述缺陷定位模型的输出张量由x，y，w，h，pro，class构成，其中，参数x为预测的缺陷定位框左上角的x方向像素坐标，y为预测的缺陷定位框左上角的y方向像素坐标，w为预测的缺陷定位框的长，h为预测的缺陷定位框的宽，class为预测缺陷对应的类别，pro为预测缺陷对应类别的概率。

优选地，所述缺陷分割模型采用端到端的卷积网络，并引入下采样恢复预测的图像大小尺寸，其中，所述缺陷分割模型的输出为对应输入图像的每一个像素的类别。

按照本发明的另一个方面，提供了一种工件表面缺陷分类与检测方法，包括：

将待处理图像输入缺陷定位模型，由所述缺陷定位模型得到所述待处理图像中各缺陷的位置；