[发明专利]基于深度学习的高密度柔性基板外观缺陷检测系统与方法

权利要求书

1.一种基于深度学习的高密度柔性基板外观缺陷检测系统，其特征在于，包括硬件平台和软件检测平台；硬件平台包括两部分，第一部分是精密载物控制平台，精密载物控制平台包括：

⑴载物台，采用了真空吸附载物台装置，使被检测的柔性基板牢固地贴附于载物台上；

⑵电机及驱动装置，用于驱动载物台的运动；

⑶运动控制板卡，用于传递工业计算机上传出来的控制信号，将信号转换后传给电机及驱动装置，控制载物台；

第二部分是图像采集平台，图像采集平台包括：

⑴同轴卤素灯光源，用于对柔性基板提供高亮度和均匀的照明；

⑵CCD摄像机，用于拍摄FICS图像；

⑶千兆网卡，用于传输数据；

⑷自动变焦的光学显微镜，用于将载物台上的柔性基板待检测部分进行放大。

2.根据权利要求1所述的一种基于深度学习的高密度柔性基板外观缺陷检测系统，其特征在于，软件检测平台包括3部分：

⑴用户操作界面单元，用于硬件平台参数设定、实施检测操作；

⑵深度学习缺陷定位与识别单元，用于基于深度学习的检测模型的训练与图像外观缺陷的快速检测；

⑶数据库操作单元，用于图像的存储和检测数据的管理。

3.用于权利要求1或2所述一种基于深度学习的高密度柔性基板外观缺陷检测系统的检测方法，其特征在于，包括模型训练和缺陷检测过程两个部分，

模型训练分为包括：

S1：收集适量带有不同外观缺陷的FICS图像；

S2：将收集图像的尺寸统一为448×448的标准尺寸；

S3：人工标记出每张图像中的缺陷位置和类别，将标记好的图像作为下一步YOLO卷积神经网络的训练样本；

S4：以标记好的训练样本图像作为模型输入，以缺陷的位置与类型信息作为模型输出，对基于改进YOLO卷积神经网络的检测模型即所述基于深度学习的检测模型进训练，得到用于FICS图像外观缺陷的定位与类型识别的深度学习模型；

缺陷检测过程包括：

S1：将待检测的FICS放在真空吸附载物台上，用CCD摄像机采集FICS图像；

S2：将采集到的FICS图像统一为标准尺寸448×448；

S3：将FICS图像输入已经训练好的基于改进YOLO卷积神经网络的检测模型，输出是否有缺陷、缺陷位置与类型信息，并将信息保存到数据库中；

S4：回到步骤S2，对下一张图像进行检测，直到检测结束。

4.根据权利要求3所述的检测方法，其特征在于：模型训练的步骤S4中，每一张训练图像分为S×S个网格，每一个网格产生B个预测的可能包含缺陷的矩形框，每一张训练图像上缺陷的位置由5个参数组成，分别为x,y,w,h,P，其中x与y是矩形框的中心相对于负责该缺陷的网格左上角的位置偏移量，w与h是矩形框的长和宽，P是指矩形框中含有缺陷的置信度。

5.根据权利要求3所述的检测方法，其特征在于，模型训练的步骤S4中，所建立的用于FICS图像外观缺陷的定位与类型识别的深度学习模型是基于改进YOLO卷积神经网络的检测模型；该模型包括了24个卷积层和2个全连接层，同时采用了如下损失函数训练模型：

其中，S×S表示每张训练图像被分成S×S个网格；B表示每一个网格预测的可能包含缺陷的矩形框个数；表示第i个网格中的第j个矩形框是否负责本网格中的缺陷预测，表示缺陷是否存在于第i个网格中；λ_coord为矩形框的w,h,x,y四个参数的损失权重；λ_noobj为不负责的矩形框所预测缺陷的类别损失权重；x_i和y_i、和分别表示人工标注的缺陷矩形框和模型预测的矩形框的左上角对于第i个网格中心在两个方向上的偏移量；w_i和h_i、和分别表示第i个网格中人工标注的缺陷矩形框和模型预测的矩形框的宽与高，C_i和分别表示第i个网格中人工标注的缺陷类别和模型预测的类别；p_i(c)和表示第i个网格中人工标注的和模型预测的缺陷类别为c的概率。