[发明专利]一种基于YOLO的深度学习芯片封装裂纹缺陷检测方法

权利要求书

1.一种基于YOLO的深度学习芯片封装裂纹缺陷检测方法，其特征在于，包括如下步骤：

第一步，采集得到芯片单元图像；

第二步，对采集的图像进行缺陷类别信息以及缺陷目标坐标的标注；

第三步，进行数据增强，制作用于训练的数据集；

第四步，基于YOLOv4网络构建缺陷检测所用的深度学习网络模型；

第五步，使用预训练的参数作为初始权重，训练深度学习网络；

第六步，使用训练好的网络进行预测，将待检测图片标准化处理后输入网络，得到网络head的输出，将head输出解码，采用优化非极大值抑制NMS过滤解码后的结果，得到网络预测结果；

第七步，采用置信度阈值和裂纹边界阈值对所述第六步的网络预测结果进一步过滤，得到最终结果；

所述第三步中，通过基于随机漫步邻域法或者直线邻域法的仿真数据生成算法制作用于训练的数据集；

基于随机漫步邻域法制作训练的数据集的过程包括：输入无缺陷图片数据集，分析图片特征，确定图片连通域，提取芯片前景及其坐标，在前景中选取随机点，根据随机点绘制对应直线，在图片坐标系下计算直线斜率和截距，然后以直线坐标点为基础，以截距和斜率为约束，随机漫步生成缺陷点，其中随机漫步方法的具体实现是根据当前缺陷点的位置，在斜率方向距离上一缺陷点某个距离位置上迭代生成下一缺陷点；然后根据已经生成的缺点计算其邻域内的平均灰度值，并以平均灰度值为基础在邻域内进行随机灰度值降低操作，形成裂纹缺陷，最后分析裂纹缺陷仿真生成效果，优化参数，不断迭代，实现裂纹缺陷数据集的生成；

基于直线邻域法制作训练的数据集的过程包括：输入无缺陷图片数据集，分析图片特征，确定图片连通域，提取芯片前景及其坐标，根据前景点绘制直线，然后与原图做差，提取直线并进行阈值化、形态学处理以降低干扰，通过像素灰度值分析定位直线像素点位置，并以此为基础生成缺陷点，根据芯片类型定义相关参数，并根据已经生成的缺点计算其邻域内的平均灰度值，并以平均灰度值为基础在邻域内进行随机灰度值降低操作，形成裂纹缺陷，最后分析裂纹缺陷仿真生成效果，优化参数，不断迭代，实现裂纹缺陷数据集的生成。

2.如权利要求1所述的基于YOLO的深度学习芯片封装裂纹缺陷检测方法，其特征在于，所述第二步中，标注缺陷目标的左上角和右下角坐标。

3.如权利要求1至2任一项所述的基于YOLO的深度学习芯片封装裂纹缺陷检测方法，其特征在于，所述第四步中，所述深度学习网络模型包括骨架特征提取网络、SPP结构、PANet特征融合结构和Yolohead 检测头结构；所述骨架特征提取网络使用尺寸为416*416的RGB图像作为输入，经过卷积、batchnormalization和mish激活函数后，再通过尺寸分别为（208，208，64），（104，104，128），（52，52，256），（26，26，512），（13，13，1024）的残差块结构；特征提取后，最后一个残差块的输出经过三次卷积和SPP结构，拼接后再次进行三次卷积的结果将与所述骨架特征提取网络倒数第二和倒数第三个残差块的输出结果一起作为所述PANet特征融合结构的输入；所述PANet特征融合结构进行一系列的上采样、下采样和卷积操作，将三个输入的特征进行融合处理，然后输入所述Yolohead检测头结构；所述Yolohead检测头结构将输出解码前的裂纹目标坐标信息，分类置信度和目标有无置信度。

4.如权利要求1至2任一项所述的基于YOLO的深度学习芯片封装裂纹缺陷检测方法，其特征在于，所述第五步中，训练方法包括先冻结骨架特征提取网络部分的权重，训练多个epoch，然后解冻所有权重，训练多个epoch；网络训练使用如下的训练参数：学习率0.001、batch_size为16、训练集验证集相对于数据集的划分比例为0.9和0.1、优化器使用Adam；网络训练策略是：首先使用在Imagenet和coco数据集进行预训练的参数作为初始权重，然后冻结骨架特征提取网络部分的权重，对剩余部分进行50个epoch的训练，最后解冻所有权重，进行50个epoch的训练。