[发明专利]一种高密度柔性基板的缺陷检测方法

权利要求书

1.一种高密度柔性基板的缺陷检测方法，其特征在于，包括：

深度神经网络模型训练步骤，具体为：

采集带有外观缺陷的FICS图像，将图像预处理后统一为标准尺寸，标记每张图像中的缺陷位置和类别，作为faster R-CNN卷积神经网络模型的训练样本；

将标记号的训练样本作为faster R-CNN卷积神经网络模型的输入，并输出FICS缺陷的位置与类型信息，得到训练好的基于faster R-CNN卷积神经网络模型；

缺陷检测步骤，具体为：

将待检测的FICS图像输入训练好的基于faster R-CNN卷积神经网络模型，输出是否有缺陷，如果有缺陷，则输出缺陷位置及类型；

所述faster R-CNN卷积神经网络模型包括四部分：

第一部分是将预处理后的待检测FICS图像作为输入，输出特征图的共享卷积神经网络

第二部分是对输出特征图进行采样点坐标后，通过双线性插值，对采样点坐标的值进行计算，并输出特征图对应目标点值的平行空间变换网络；

第三部分是输入特征图对应目标点值得到候选框的候选框生成网络；

第四部分是输入候选框，输出为缺陷的位置信息及类别的感兴趣区域池化分类网络；

所述共享卷积神经网络由5个卷积层和2个池化层构成；输入是预处理后大小为224*224的图像，输出是特征图，池化层采用最大池化的方法，来减少大量的参数计算；

所述平行空间变换网络包括三个部分，分别是定位网络、像素定位器及采样器；

所述定位网络，由三个全连接层构成，输入是宽为w，高为h，通道数为c的特征图I，输出是一个转换矩阵θ：

所述像素定位，用于通过转换矩阵θ，获取输出特征图上每一个采样点在输入特征图上的位置，然后对特征图进行变换；

所述采样器，用于通过双线性插值，对采样点坐标得到值进行计算，输出特征图上目标点值；

所述候选框生成网络中，候选框的生成采用滑动窗口结合锚的机制确定每个滑动窗口所对应的区域里面是否有目标存在，由于目标的长宽不一致，因此需要多种尺度的窗口来进行覆盖，锚的机制是在一个基准窗口大小的基础上，按照长宽和倍数比例来生成不同的候选框，采用8，16及32三种倍数和0.5，1及2三种比例来生成候选框，得到9种不同尺度的锚；

所述感兴趣区域池化分类网络由一个感兴趣区域层和两个全连接层组成，它的输入是一系列的候选框，由上一个部分的候选框生成网络所生成，输出是神经网络对于缺陷的位置和类别信息，损失函数如下：

L_hard＝L_crass(P，u)+δL_regre(t，v)

L_class(p,u)代表分类的log损失，L_regre(t,v)代表预测框坐标的回归损失；p代表预测框对其包含的物体的真实类别的预测值，t和v分别代表了预测框的4个坐标组合起来的向量和实际位置坐标组合起来的向量，4个坐标分别为x,y,w,h，其中，x代表候选框的相对横坐标，y代表候选框的相对纵坐标，w代表候选框的宽度，h代表候选框的高度，δ用于平衡分类损失和坐标回归损失，在训练过程中，将损失最大的前128个候选框视为难样本，利用小批次随机梯度下降法进行反向传播，更新网络参数；

基于改进的faster R-CNN的深度卷积神经网络模型的训练步骤为：

1)对四个部分的卷积神经网络分别进行初始化；

2)对共享卷积神经网络，平行空间变换网络，候选框生成网络进行训练，得到一系列的候选框；

3)利用第2步生成的候选框，对共享卷积神经网络，平行空间变换网络和感兴趣区域池化分类网络进行训练，每次都挑选出前128个损失最大的候选框，利用小批次随机梯度下降算法进行网络参数更新；

4)固定共享卷积神经网络，平行空间变换网络，对候选框生成网络进行单独训练，得到一系列的候选框；

5)利用第4步生成的候选框，对共享卷积神经网络，平行空间变换网络和感兴趣区域池化分类网络进行训练，每次都挑选出损失最大的128个候选框，利用小批次随机梯度下降算法进行网络参数更新。

2.根据权利要求1所述的缺陷检测方法，其特征在于，像素定位器包括缩放、平移及旋转的变换方式。

3.根据权利要求1所述的缺陷检测方法，其特征在于，统一尺寸具体为224×224像素的标准尺寸。