[发明专利]一种基于多模型融合卷积神经网络的PCB缺陷图像识别方法

权利要求书

1.一种基于多模型融合卷积神经网络的PCB缺陷图像识别方法，其特征在于：操作步骤如下：

（1）建立图像数据集：

获取多种类PCB缺陷图像，建立PCB图像数据集，并按各缺陷种类分好类；

（2）ResNet50模型改进：

建立适合PCB缺陷图像识别的卷积神经网络框架；

采用ResNet50网络结构共由四个大的BottleNeck组成，每个block中分别对应有3、4、6、3个小的残差块组成，每个小的残差块都是由1×1、3×3、1×1三个卷积层串联组成；

另外在网络的最前端和最后端分别是由1个7×7的卷积层，maxpool层以及平均池化层组成；优化改进后的ResNet50模型引入了一种名为Res2Net的新型CNN模块，将原本ResNet50中含有1×1、3×3、1×1卷积层的残差块替换为更多分层式的残差连接结构，并分别将第二个和第三个大的BottleNeck中的多个小block替换成Res2Net模块，然后将剩下的2个大BottleNeck按原本顺序进行连接；在每一个大的BottleNeck后面采用ReLU作为激活函数，提高网络多层的非线性扩展能力；

（3）特征融合：

对PCB缺陷分类识别，采用多模型融合的PCB缺陷识别方法，基于多模型提取的图像特征进行融合，并对融合特征输出网络结构进行改进；进行特征融合：

基于多模型提取的图像特征进行融合，并对融合特征输出网络结构进行改进；利用改进后的ResNet50和DenseNet169模型特征提取器对输入图片进行特征提取，其中改进后的ResNet50特征提取器提取到2048幅7×7大小的特征图，DenseNet169特征提取器提取到1664幅7×7大小的特征图；

压缩模型参数数量，提高计算速度，分别在两个特征提取器后接一个全局平均池化层，得到2048幅1×1大小的特征图和1664幅1×1大小的特征图，之后再将两个全局平均池化层的输出进行拼接，得到新的分类网络的输出；经过模型融合后，最终得到的特征图大小为1×1×3712；根据最终需要将PCB图像分为NG和OK两种类别的目标，将1×1×3712大小的特征图转变为1×1×2大小的特征图；改进后的多模型融合网络在融合特征输出后增加了多个1×1卷积层，个数分别为2048、1024、512，逐步降低了特征图的数量，使特征图的通道数平缓过渡；

（4）通过模型训练实现PCB缺陷识别：

将PCB图片集划分为训练集、验证集测试集，利用在所述步骤（3）中进行改进后的融合模型进行训练、测试，对PCB缺陷类别进行自动化和智能化识别。

2.根据权利要求1所述基于多模型融合卷积神经网络的PCB缺陷图像识别方法，其特征在于：所述步骤（1）包括如下步骤：

（1.1）对PCB缺陷图像进行缺陷分类，对包括残渣、异物在内的PCB缺陷图像以及无缺陷PCB图像进行细致分类整理；

（1.2） 在步骤（1.1）整理好的PCB图像数据集基础上进行包括镜像、旋转在内的数据增强方式以扩充数据集样本。