[发明专利]神经网络训练方法、工件表面缺陷分类与检测方法及装置

权利要求书

1.一种神经网络训练方法，其特征在于，包括：

基于包含不同缺陷类别的样本图像，提取各所述样本图像的目标区域分别构成目标图像，其中，所述目标区域包括缺陷区域；

对各所述目标图像中的缺陷区域像素值进行标注，以区分不同的缺陷类型，并提取各所述目标图像中的缺陷区域的坐标值，由各所述目标图像、各所述目标图像的缺陷类型及各所述目标图像中的缺陷区域的坐标值构成第一训练样本集，由所述第一训练样本集训练缺陷定位模型；

由各所述目标图像及经过像素值标注后的目标图像构成第二训练样本集，由所述第二训练样本集训练缺陷分割模型。

2.根据权利要求1所述的方法，其特征在于，所述对各所述目标图像中的缺陷区域像素值进行标注，以区分不同的缺陷类型，包括：

提取各所述目标图像中的缺陷区域的轮廓，并将各轮廓内的区域像素值全部置为缺陷类别对应的像素值；

所述提取各所述目标图像中的缺陷区域的坐标值，包括：

提取各所述目标图像中的缺陷区域的外接矩形，并记录各外接矩形对应坐标值x1,y1,x2,y2，其中，x1为外接矩形左上角点x方向的像素坐标，y1为外接矩形左上角点y方向的像素坐标，x2为外接矩形右下角x方向的像素坐标，y2为外接矩形右下角y方向的像素坐标。

3.根据权利要求1或2所述的方法，其特征在于，所述缺陷定位模型由若干个卷积层和若干个全连接层构成，所述缺陷定位模型的输出张量由x，y，w，h，pro，class构成，其中，参数x为预测的缺陷定位框左上角的x方向像素坐标，y为预测的缺陷定位框左上角的y方向像素坐标，w为预测的缺陷定位框的长，h为预测的缺陷定位框的宽，class为预测缺陷对应的类别，pro为预测缺陷对应类别的概率。

4.根据权利要求1或2所述的方法，其特征在于，所述缺陷分割模型采用端到端的卷积网络，并引入下采样恢复预测的图像大小尺寸，其中，所述缺陷分割模型的输出为对应输入图像的每一个像素的类别。

5.一种工件表面缺陷分类与检测方法，其特征在于，包括：

将待处理图像输入缺陷定位模型，由所述缺陷定位模型得到所述待处理图像中各缺陷的位置；

由各缺陷的位置裁剪所述待处理图像，将裁剪的各图像输入缺陷分割模型，由所述缺陷分割模型得到包含各缺陷的缺陷图像，其中，各所述缺陷图像分别与对应的输入图像尺寸一致；

将各所述缺陷图像还原至所述待处理图像中的对应位置，进而获得所述待处理图像中各缺陷类型及缺陷检测结果；

其中，所述缺陷定位模型及所述缺陷分割模型由权利要求1至4任意一项所述的神经网络训练方法训练得到。

6.一种神经网络训练装置，其特征在于，包括：

第一提取单元，用于基于包含不同缺陷类别的样本图像，提取各所述样本图像的目标区域分别构成目标图像，其中，所述目标区域包括缺陷区域；

标注单元，用于对各所述目标图像中的缺陷区域像素值进行标注，以区分不同的缺陷类型；

第二提取单元，用于提取各所述目标图像中的缺陷区域的坐标值；

第一训练单元，用于由各所述目标图像、各所述目标图像的缺陷类型及各所述目标图像中的缺陷区域的坐标值构成第一训练样本集，由所述第一训练样本集训练缺陷定位模型；

第二训练单元，用于由各所述目标图像及经过像素值标注后的目标图像构成第二训练样本集，由所述第二训练样本集训练缺陷分割模型。

7.根据权利要求6所述的装置，其特征在于，所述标注单元，用于提取各所述目标图像中的缺陷区域的轮廓，并将各轮廓内的区域像素值全部置为缺陷类别对应的像素值；

所述第二提取单元，用于提取各所述目标图像中的缺陷区域的外接矩形，并记录各外接矩形对应坐标值x1,y1,x2,y2，其中，x1为外接矩形左上角点x方向的像素坐标，y1为外接矩形左上角点y方向的像素坐标，x2为外接矩形右下角x方向的像素坐标，y2为外接矩形右下角y方向的像素坐标。