[发明专利]基于融合深度学习模型的集成电路缺陷图像识别分类系统

权利要求书

1.一种基于融合深度学习模型的集成电路缺陷图像识别分类系统，其特征在于，提出使用基于深度卷积神经网络(CNN)的融合模型的方式对晶圆的缺陷图像进行在线自动识别分类，及时地侦测晶圆各类缺陷数量的变化；

其核心机制是由两种融入学习机制的深度学习模型构建的缺陷图像特征提取方法，该深度CNN融合模型基于SE_Inception_V4、SE_Inception_ResNet_V2两种框架构建了Combined3缺陷图像分类模型，并利用序列模型优化(SMBO)算法对融合深度CNN识别模型进行超参优化，提升模型识别精度。

2.根据权利要求1所述的一种基于融合深度学习模型的集成电路缺陷图像识别分类系统，其特征在于，融合深度学习图像缺陷识别系统实现步骤如下：

第一步：连接半导体制造厂数据库，将融合深度学习图像缺陷识别系统所需数据相关的数据库信息整理出来，并进行连接；

第二步：就融合深度学习图像缺陷识别系统所需数据从数据库中进行抽取，并存放到本地数据库或者存储为本地数据文件；

第三步：对所抽取的数据进行图像增强，包括图像去噪、图像切割、图像旋转、图像尺寸变换等；

第四步：就预处理后的图像使用融合深度学习模型进行特征提取，其中模型训练时采用SMBO优化算法对融合深度学习模型进行优化；

第五步：对第四步提取的特征进行降维，输入全连接分类层；

第六步：在全连接层对所提取的特征数据进行分类，其中模型训练时采用SMBO优化算法对全连接层进行优化，得到优化后的分类识别模型/图像分类识别结果；

第七步：对图像缺陷识别系统的分类识别结果进行评价。

3.根据权利要求1所述的一种基于融合深度学习模型的集成电路缺陷图像识别分类系统，其特征在于，数据增强是CNN训练中最常用的减少过拟合的方法，其在不改变图像类别的前提下，对原有图像增加扰动，进而扩大数据集；

只采取裁剪的数据增强方法，分别取四个角以及中间共五个位置的裁剪，这样数据能够增强5倍；

训练和测试时所用的图像数据集分别为2000和600幅晶圆缺陷图像，二者均存在数据偏斜的问题，图像尺寸为480像素×480像素；

对于训练数据集，使用图像处理技术对图像进行灰度化、resize、去噪声，然后对处理后的图像裁剪，数据量增强到原来的5倍；

操作系统为Centos7，深度学习框架为TensorFlow，开发软件为Python2.7，GPU为NVIDIA Tesla P4。