[发明专利]一种基于深度学习的电子元器件质量检测方法与系统

权利要求书

1.一种基于深度学习卷积神经网络的电子元件质量检测的方法，其特征在于，包括以下步骤：

Step1：搜集不合格电子元件图像，首先用Labelimg或其他类似工具对训练数据集中的图像进行区域和类别的标注，包括真实框，类别信息，即缺陷的坐标和分类，然后对图像进行预处理，将图像按比例变为800*600大小，对边长不足的情况进行黑色填充，将改变尺寸后的图像分为训练集、验证集和测试集；

Step2：以Faster RCNN网络为基础，通过更改特征提取网络部分的结构来做出一个速度和精度都比较平衡的网络；

Step3：利用训练数据集中的图像对用于电子元器件质量检测的卷积神经网络模型进行训练；

Step4：利用训练好的卷积神经网络进行不合格电子元器件的质量检测，包括图像区域识别和目标分类；

所述步骤Step2中，具体修改网络基础可以分为如下步骤：

Step2.1：首先修改Faster RCNN中的backbone，即卷积神经网络的结构，去掉传统VGG16卷积神经网络中运用的池化层操作，而是用Stride＝2(步长为2)的3X3卷积层进行卷积，以达到降维的效果，并且又加入残差模块，使得卷积的层数可以更深，达到更好的特征提取效果； 本发明还取消了传统的全连接层和全局池化层； 所以backbone的构建又可以具体分为以下步骤：

Step2.1.1：首先，本网络用的是Conv_BN_LeakyReLU(CBL)模块作为基本模块构建，其中包含Conv2D模块、BN(批标准化，加速网络收敛，解决梯度消失)模块、LeakyReLU(激活函数)模块，而引入的残差模块(ResBlock)实际上是2个CBL其中第一个加了0填充(padding＝1)；

Step2.1.2：然后本网络的构建方式是：设置模型Layerl的结构为CBL，CBL，ResBlock，其中CBL中滤波器尺寸分别为：[3，3，3，32]，[3，3，32，64]和一个ResBlock，其中滤波器的尺寸是[1，1，64，32]，[3，3，32，64]；

Step2.1.3：设置模型Layer2的结构为CBL，ResBlock*2，其中CBL中滤波器尺寸分别为：[3，3，64，128]，和2个Resblock，其中滤波器的尺寸是[1，1，128，64]，[3，3，64，128]；

Step2.1.4：设置模型Layer3的结构为CBL，ResBlock*8，其中CBL中滤波器尺寸分别为：[3，3，256，512]，和8个ResBlock，其中滤波器的尺寸是[1，1，256，128]，[3，3，128，256]；

Step2.1.5：设置模型Layer4的结构为CBL，ResBlock*8，其中CBL中滤波器尺寸分别为：[3，3，256，512]，和8个ResBlock，其中滤波器的尺寸是[1，1，512，256]，[3，3，256，512]；

Step2.1.6：设置模型Layer5的结构为CBL，ResBlock*4，其中CBL中滤波器尺寸分别为：[3，3，512，1024]，和4个ResBlock，其中滤波器的尺寸是[1，1，1024，512]，[3，3，512，1024]；

所述步骤Step3中，利用训练数据集中的图像对用于电子元器件质量检测的全卷积神经网络模型进行训练的主要步骤如下：

Step3.1：设置全卷积神经网络模型的初始权重和初始偏置的参数；

Step3.2：然后将输入的图片按比例缩放为800X600，如果边的长度不够，则进行黑色补充；

Step3.3：接着，分别将Layer4，Layer5和最后输出的权重张量进行拼接，并且这里的拼接不是单纯的相加，而是先扩充张量，再拼接，所以最后输出的尺度是50X38X256，这样可以将上层的信息融合到上层中，比如将颜色信息等融合到物体信息中；

Step3.4：接着，通过RPN网络，首先在每一个特征图的像素点上生成9个先验框，然后通过Softmax激活函数分类出带有目标区域的候选区域，同时计算候选区域相对于真实区域的偏移量，得到更加接近真实区域的候选区域；

Step3.5：接着，综合positive anchors(有缺陷的区域)和对应bounding boxregression偏移量获取的proposals(优化后的候选区域)，同时剔除太小和超出边界的proposals(优化后的目标区域)，得到最优化的候选区域；

Step3.6：接着传入感兴趣池化层(Roi Pooling层)，结合优化后候选区域和特征图，通过池化的手段在特征图上选出尺度相等的若干特征图，送入后续全连接和Softmax激活函数网络做classification(即分类，将取出的区域分类别)，再进行最后一步回归操作，使得更接近真实的区域；

Step3.7：利用神经网络反向传播更新参数，调整前面网络参数，多次重复，达到训练的目的，导出保存参数；

所述步骤Step4中，具体的图像区域识别和目标分类可以分为如下步骤：

Step4.1：RPN网络通过Softmax激活函数判断anchors，即利用特征图映射在原图的box，是Positive(包含缺陷的部分)还是Negative(背景部分)的，然后选取Positive的那一部分进行回归计算得到比较精确的推荐区域；

Step4.2：将上一步产生的推荐区域和特征图进行融合；

Step4.3：将两者传入Roi Pooling提取包含目标区域的特征图，由于Roi的特性，可以将之前得到不同大小的选区变成相同大小，解决了尺度不一致的问题；

Step4.4：送入全连接层进行目标检测； 最后在分类阶段，利用之前的到的信息进行分类和回归，最终得到被候选框框出的质量不合格产品信息的图像。