[发明专利]基于深度学习的材料显微图像缺陷识别方法、设备及装置

权利要求书

1.一种基于深度学习的材料显微图像缺陷识别方法，其特征在于，包括：

获取待识别图像；

将所述待识别图像分割成若干预设大小的图像子块，输入到预先训练好的缺陷识别模型，得到待识别图像的缺陷信息；

其中，所述缺陷识别模型包括：

卷积神经网络模型，用于提取图像特征集合以及预测得分；所述卷积神经网络模型依次包括5个阶段101个卷积层、2个并行的全连接模块以及1个输出层；

区域生成模型，用于确定缺陷位置信息；所述区域生成模型包括5个卷积层、2个并行的全连接模块以及1个输出层，输出层后接1个RoI Align模块；

和语义分割模型，用于确定缺陷类别信息；所述语义分割模型依次包括1个featuremap层，3个并行的全连接模块以及1个输出层；

所述缺陷识别模型的训练方法包括如下步骤：

S1.获取若干显微图像，并对所述显微图像的缺陷类别和缺陷位置进行分类标注；将含有一或多个缺陷的显微图像通过仿射变换分割成按预设权重配比的训练集；所述分类标注的方法为包围框标注；所述仿射变换是将图像边界进行灰度填充后，再进行旋转、缩放、翻转，以丰富图像集；

S2.利用所述训练集对预配置权重的缺陷识别模型进行训练；具体如下：

利用训练集对预先构建的卷积神经网络模型进行训练，包括：

1、将训练集输入预先构建的卷积神经网络模型，设置模型预设系数；

2、卷积神经网络模型中每一卷积层提取出不同尺度的语义较强的特征图，特征金字塔融合四个卷积层的特征图；

3、利用随机高斯分布初始化卷积神经网络模型的所有权值，并利用训练集对卷积神经网络模型进行训练，获取卷积神经网络模型中最后一个卷积层输出的特征图；

利用训练集以及卷积神经网络模型输出的特征图对区域生成模型进行训练，包括：

1、由所述卷积神经网络模型输出后的结果得到缺陷的初步位置；

2、使用平移和缩放对应的线性回归方法对识别位置进行具体调整，将新得到的位置信息返回，判断是否超出原初步位置范畴；

3、设置重叠率阈值，计算所述卷积神经网络模型输出的预测细胞包围框与实际缺陷包围框的重叠率，将大于所述重叠率阈值的所述重叠率对应的预测缺陷包围框作为样本框；

4、返回重新平移或缩放，否则以新位置信息作为初步位置循环；

接着利用所述区域生成模型的输出对语义分割模型进行训练，包括：

1、通过所述RoI Align层对输入不同尺寸的特征图进行归一化调整；

2、采用梯度优化算法，利用分割掩码生成网络模型输出的二值分割掩码图对预先构建的语义分割模型进行训练，语义分割模型采用的损失函数为：

其中，M表示类别数量；y_c是指示变量0或1，如果该类别和样本的类别相同就是1，否则是0；p_c代表观测样本属于c类别的预测概率；

引入交叉熵权重解决缺陷图像样本不均衡的问题：

其中w_c为每个类别的权重，其计算公式为：

式中，N表示总的像素个数，而N_c表示类别为c的像素个数，相比于原始的交叉熵Loss，在样本数量不均衡的情况下可以获得更好的效果；

所述缺陷识别模型训练采用的损失函数为：

L＝L_cls+L_box+L_mask

式中，L_cls为分类损失，L_box为框的回归损失，L_mask为掩码损失；

Lcls：利用softmax函数对候选区域进行分类，得到框的类别k；分类损失Lcls计算如下：

L_cls(P_i，P_i^*)＝-log[P_i*P_i^*+(1-P_i^*)(1-P_i)]

其中，i为框的索引，Pi为目标的预测概率，当框内有物体时，P_i^*为1，否则为0；

Lbox：实为先验框(Px,Py,Pw,Ph)与实际框(Gx,Gy,Gw,Gh)的回归，使用SmoothL1Loss计算回归框Lbox的损失；其公式如下：

其中，t_i为先验框(Px,Py,Pw,Ph)的坐标，为实际框(Gx,Gy,Gw,Gh)的坐标，x，y，w，h分别为框的中心坐标，长与宽；

Lmask：利用Lcls得到框的类别k，仅在k类别上计算误差；预测出二值掩膜后，对掩膜的每个像素点应用sigmoid函数，整体损失的计算使用平均二值交叉损失熵，公式如下：

式中，y为预测像素点，y_i为真实像素点；

所述训练方法包括：

coco.h文件作为缺陷预设权重，利用随机高斯过程设置所述卷积神经网络模型的内参数；所述卷积神经网络模型接收上次训练返回的loss值对参数进行调整，将输入图像进行操作，提取出多组不同尺度的特征图；

所述多组不同尺度的特征图经ROI Align层调整为统一尺度的特征图，输入所述区域生成模型，判断缺陷位置信息；

最后，经所述语义分割模型判断缺陷类别信息，画出掩膜，输出图像，并与所述训练集的图像比较，计算出class、box、mask三种loss值，然后返回至所述卷积神经网络模型，重复上述步骤；

首先采用分类标记对获取的材料结构显微图像进行缺陷标注；然后利用仿射变换将样本图片集分割形成训练集；接着利用含有分类标注的训练集对预先构建的缺陷识别模型进行训练；最后利用训练好的缺陷识别模型对待识别缺陷样本进行缺陷检测，获得目标缺陷样本中的缺陷类型与个数；

采用的缺陷识别模型包括卷积网络模型、区域生成模型和语义分割模型三个子模型；在模型训练过程中，卷积网络模型提取训练集中子图片的特征集合以及预测得分，区域生成模型以训练集和卷积网络模型为输入，不断调整预测框位置以确定缺陷位置信息，最后经语义分割模型对像素进行检测判断缺陷类型，得到正确语义分割信息；通过特征金字塔融合了底层到高层的特征图，在增加较少计算量的前提下融合低分辨率语义信息较强的特征图和高分辨率语义信息较弱但空间信息丰富的特征图；显著降低模型复杂度及运算时间，提高了模型计算速度和预测精度。