[发明专利]一种结合深度学习的塑封芯片内部缺陷检测方法

权利要求书

1.一种结合深度学习的塑封芯片内部缺陷检测方法，其特征在于，包括如下步骤：

S1：获取塑封芯片的超声波扫描图像，利用改进后的神经网络算法对超声波扫描图像进行芯片目标检测，获得超声波扫描图像中每一个目标芯片图像；

S2：对获得的芯片图像进行传统图像算法分析，实现芯片缺陷的检测；

所述改进后的神经网络包含主干提取网络、改进后的特征融合网络和YOLOHead结构，改进后的特征融合网络将主干提取网络得到的三个特征向量经过YOLOv5网络中的金字塔特征融合FPN和PAN网络进行加强融合，得到加强后的特征向量，并融合原来的特征向量，得到改进后的特征融合向量。

2.根据权利要求1所述的一种结合深度学习的塑封芯片内部缺陷检测方法，其特征在于，步骤S1包括如下步骤：

S11：使用超声波扫描仪获得芯片内部的超声波扫描图；

S12：对步骤S11所得图像中的芯片使用二分类进行标注，“芯片”标签设置为1，“非芯片”标签设置为0，将标注好的图像进行训练集、验证集、测试集分类；

S13：对获得的数据集进行数据集扩充，使用图像裁剪、旋转、拼接获得增强后的数据集；

S14：使用构建好的数据集对改进后的YOLOv5s神经网络进行训练，获得训练好的模型；

S15：使用训练好的模型对超声波扫描图像进行计算预测，并获得包含完整芯片区域的目标芯片图像。

3.根据权利要求2所述的一种结合深度学习的塑封芯片内部缺陷检测方法，其特征在于：所述的主干提取网络包括：Focus模块、第一卷积模块、第一C3模块、第二卷积模块、第二C3模块、第三卷积模块、第三C3模块、第四卷积模块、SPP模块和第四C3模块，将第二C3模块输出、第三C3模块输出、第四C3模块输出作为三个不同尺寸的特征向量。

4.根据权利要求3所述的一种结合深度学习的塑封芯片内部缺陷检测方法，其特征在于：Focus模块将输入图像每隔一个提取一个像素；所有卷积模块均由二维卷积、batchnormalization模块、激活函数组成；所有C3模块则由多个残差结构组成；SPP模块是经过多个不同尺寸卷积后进行叠加而成。

5.根据权利要求4所述的一种结合深度学习的塑封芯片内部缺陷检测方法，其特征在于：主干提取网络得到的三个不同尺寸的特征向量通过CBAM注意力机制进行训练资源的重新分配，得到重新分配后的特征向量，分别命名为第一特征向量、第二特征向量、第三特征向量；将三个特征向量输入到FPN+PAN金字塔进行特征融合，特征融合后的三个特征向量再次与对应输入特征向量进行叠加融合，得到增强后的特征，最后通过YOLOHead结构得到三个输出。

6.根据权利要求5所述的一种结合深度学习的塑封芯片内部缺陷检测方法，其特征在于：对改进后的神经网络进行训练的过程如下：

S141：对图像进行归一化，将归一化的图像输入到改进后的YOLOv5s神经网络中；

S142：训练过程使用三种损失函数，分别为分类损失、定位损失、置信度损失，将原有的定位损失由GIOU损失函数替换成CIOU损失函数，分类损失函数使用交叉熵损失函数；

S143：利用交叉熵损失函数和CIOU损失函数对预测结果进行评估，使用Adam优化函数对模型参数进行调整优化，使得损失值逐步降低，当损失值逐渐拟合，不再下降，网络模型训练完成；

S144：利用测试集对训练好的模型进行测试，评估网络的检测性能。

7.根据权利要求1-6任一项所述的一种结合深度学习的塑封芯片内部缺陷检测方法，其特征在于，S2步骤包含：

S21：使用图像灰度化、图像二值化算法实现芯片区域与背景的简单分割，结合图像膨胀与腐蚀去除图像噪声，对分割后的二值图像进行边缘检测，得到芯片的边缘区域，进一步的进行最小外接矩形的提取，得到芯片区域的最小外接矩形，按照最小外接矩形进行裁剪，得到准确的芯片区域；

S22：对准确芯片区域图像进行图像灰度化，并分别按照图像行列方向进行像素值累加，得到两个一维向量；将两个一维向量分别求解最小值与第二小值，按照第二小值进行阈值分割，对分割后的两个一维向量求解上升沿与下降沿位置，计算大于阈值的宽度，比较这两个宽度获得芯片的方向位置；获得芯片方向后，对图像进行旋转，保持芯片方向一致，得到旋转方向后的图像；

S23：对旋转矫正后的图像进行潜在缺陷区域提取，获得图像的三个通道，对红色通道与绿色通道进行处理，使用两倍红色通道像素值减去绿色通道的像素值，得到单通道图像；对得到的单通道图像进行阈值分割，得到红色缺陷区域的二值图像；

S24：对得到的二值图像，进行图像连通域计算，得到所有潜在缺陷区域连通域的大小与位置；计算潜在缺陷区域与ROI区域的交并比与潜在缺陷连通域的大小，判断潜在缺陷区域是否为芯片缺陷；并对每一个芯片进行计算判断，结合芯片位置，在超声波扫描图像上显示每个芯片是否存在缺陷。