[发明专利]一种基于YOLO的深度学习芯片封装裂纹缺陷检测方法

说明书

一种基于YOLO的深度学习芯片封装裂纹缺陷检测方法，包括如下步骤：第一步，采集得到芯片单元图像；第二步，对采集的图像进行缺陷类别信息以及缺陷目标坐标的标注；第三步，进行数据增强，制作用于训练的数据集；第四步，基于YOLOv4网络构建缺陷检测所用的深度学习网络模型；第五步，使用预训练的参数作为初始权重，训练深度学习网络；第六步，使用训练好的网络进行预测，其中将待检测图片标准化处理后输入网络，得到网络head的输出，将head输出解码，采用优化非极大值抑制NMS过滤解码后的结果，得到网络预测结果；第七步，采用置信度阈值和裂纹边界阈值对所述第六步的网络预测结果进一步过滤，得到最终结果。本发明对芯片裂纹类缺陷有良好的检测效果。

技术领域

本发明涉及芯片封装缺陷检测，特别是涉及一种基于YOLO的深度学习芯片封装裂纹缺陷检测方法。

背景技术

芯片是电子产业的核心器件，在芯片的规模生产中会因缺陷产生大量无法使用的残次品。其中主要的缺陷会出现芯片的表面，且不同类型的缺陷伴随着不同的外观特征异常例如裂纹，其封装测试中的一个重要环节就是通过对芯片表面进行缺陷检测。芯片的封装测试是排除次品，保证产品质量和生产可靠性的重要环节，人工智能、物联网、云计算等新兴领域都离不开高端先进的封装测试技术。因为芯片表面缺陷具备外观特征，工业界目前的芯片封装缺陷检测可以分为三种：基于人工目检的人眼识别方式，基于图像处理和人工设计特征分类器的传统机器视觉方式和基于深度学习的机器视觉方式。

由于芯片表面缺陷特征细微，肉眼不易识别，且超过百分之五十的厂家要求对芯片缺陷进行分类，人工检测一方面效率低下，不适应如今制造业信息化、智能化的趋势，另一方面面临着高昂的人力成本与较高的误检率和漏检率，给封装测试带来了困难。

基于传统机器视觉的方式是通过图像处理的方式对缺陷特征进行选择和提取，通过人工设计缺陷特征和机器学习的分类器对缺陷进行识别，但是该方法有两个主要的缺点，一是因为缺陷特征的提取是通过图像处理的方式，所以对前期的成像系统提出了较高的要求以排除环境的干扰，二是人工设计缺陷特征无法适应芯片封装过程中缺陷类别和形态复杂多样的问题，对不同型号的芯片也需要分别设计。总的来说基于传统的机器视觉方式的芯片封装测试系统复杂，普适性差。

基于深度学习的方法是利用卷积神经网络强大的图像特征提取能力对包含不同芯片缺陷种类的训练样本进行学习，使网络记住不同类别缺陷的特征并具备识别未见过的缺陷图片的能力。随着卷积神经网络的发展，不同的网络模型被提出并应用到工业缺陷检测领域，网络模型根据功能可以分为缺陷分类，缺陷检测和缺陷分割。缺陷检测网络是指利用目标检测网络模型如YOLO(You Look Only Once)，识别图片中的缺陷类别并输出缺陷的包围盒坐标。

YOLO网络通过骨架网络对输入的图片提取特征，对不同卷积层提取的特征进行融合增加网络的感受视野，通过检测探头将特征解码输出检测目标种类和包围盒坐标和置信度。其检测原理是将图片划分成若干个网格，每个网格预测出几个包围盒，再经过非极大值抑制(NMS)输出检测结果。

CN112200776A公开了一种利用深度学习的目标检测模型用于芯片封装中的引脚数量和位置缺陷的方法和配套的硬件，目标检测模型识别输入图片中的芯片引脚，通过获取的目标位置信息来判段缺陷的类别。CN112258446A公开了一种基于改进的YOLO网络的工业零件缺陷检测方法，通过工业CT采集生成数据集并对数据集进行筛选划分，并通过图像增强的方式扩充缺陷数据集，网络模型在YOLO的基础上进行改进以降低计算量，迁移了其他图像识别挑战赛中的训练权重作为网络预训练权重，能够准确识别缺陷并对其进行定位。CN111612784A公开了一种基于分类优先YOLO网络的钢板表面缺陷检测方法，先构件了钢板表面缺陷标准图库，通过迁移学习对分类模型进行分类训练，保留分类信息。检测模型为改进的YOLO模型，用两个特征复用网络模块替代残差模块，检测模型负责检测图片中该分类结果对应的缺陷位置，避免了在YOLO网络中对缺陷类别进行预测，提高模型的检测精度。