[发明专利]一种工业环境下的纹理表面缺陷检测与分割装置及方法

权利要求书

1.一种工业环境下的纹理表面缺陷检测与分割装置，其特征在于：包括输入模块I、特征提取模块II、缺陷区域提取模块III、缺陷区域对齐模块IV、检测模块V、分割模块VI；

所述输入模块I输出至特征提取模块II，特征提取模块II输出至缺陷区域提取模块III和缺陷区域对齐模块IV，缺陷区域提取模块III输出至缺陷区域对齐模块IV，缺陷区域对齐模块IV输出至检测模块V和分割模块VI；

所述特征提取模块II用于提取缺陷图像的多尺度特征；

所述缺陷区域提取模块III为候选区域提取网络RPN，用于对提取的缺陷图像的多尺度特征进行预测输出质量高的预测缺陷区域；

所述缺陷区域对齐模块IV为感兴趣区域对齐层RoIAlign，用于根据提取的缺陷图像的多尺度特征使生成的预测缺陷区域映射产生固定大小的特征图；

所述检测模块V为快速的基于区域的卷积神经网络Fast R-CNN，用于输出预测缺陷区域映射产生的固定大小的特征图的具体类别和位置坐标；

所述分割模块VI为掩码区域提取网络Mask，输出对应预测缺陷区域映射产生的固定大小的特征图的空间分布信息；

所述特征提取模块II包括残差网络Resnet-101或Resnet-50和改进后的特征金字塔网络FPN，Resnet-101或Resnet-50包括第一层池化层输出C1，四个残差模块输出{C2，C3，C4，C5}，不同之处在于，Resnet-101残差网络的层数与Resnet-50的层数不同，Resnet-101包括101层，Resnet-50包括50层；FPN用于融合Resnet-101或Resnet-50的四个残差模块输出{C2，C3，C4，C5}，并输出最终的多尺度特征图；

改进后的FPN，采用自下而上的连接方法对特征金字塔网络提取的特征图进行连接，并融合特征图形成最终的共享特征图，充分利用高层特征，达到更好的检测效果；其中，C2-C5、P2-P5、D2-D5分别为共享卷积层、FPN及改进后的FPN生成的特征图；具体方法为：

步骤3.1、对FPN生成的不同尺寸特征图P2-P5，增加一条自下而上的路径D2-D5；

步骤3.2、D2与P2尺寸相同，P2经过1x1卷积核得到D2，D2经过步长为2的3x3卷积核，得到与P3相同尺寸的特征图并与P3经过进行1x1卷积核得到的特征图进行相加，得到D3，以此类推得到D4和D5；上述卷积操作的卷积核数量均为256；

步骤3.3、基于步骤3.2得到的D2、D3、D4和D5，均通过256个3x3卷积核并融合得到改进后的共享特征图。

2.根据权利要求1所述的装置进行工业环境下的纹理表面缺陷检测与分割的方法，其特征在于：包括如下步骤：

步骤1、建立用于微调训练的工业纹理表面缺陷检测与分割图像数据集作为输入模块I，其中包括训练集和测试集；

步骤2、搭建特征提取模块II、缺陷区域提取模块III、缺陷区域对齐模块IV、检测模块V和分割模块VI；此些模块共同组成缺陷检测与分割网络；

步骤3、通过特征提取模块II对输入模块I中的图像数据集进行缺陷图像的多尺度特征的提取；

步骤4、通过缺陷区域提取模块III对提取的缺陷图像的多尺度特征进行预测输出质量高的预测缺陷区域；

步骤5、缺陷区域对齐模块IV根据提取的缺陷图像的多尺度特征使生成的预测缺陷区域映射产生固定大小的特征图；

步骤6、使用大型图像数据集COCO对缺陷检测与分割网络进行预训练；

步骤7、设置缺陷检测与分割网络的超参数，包括卷积层数量、池化层数量、全连接层数量、卷积核尺寸、卷积核数量、卷积核滑动步长值、池化策略和激活函数类型；

步骤8、构建整个缺陷检测与分割网络的多任务损失函数；

步骤9、设置缺陷检测与分割网络的训练超参数，包括优化方法、迭代学习率、权重初始化策略、权重衰减参数和动量系数；

步骤10、采用迁移学习方法对整个缺陷检测与分割网络进行训练，减少训练数据需求并提高训练模型的预测准确性；

步骤11、使用训练完成的缺陷检测与分割网络来进行缺陷检测和分割的任务，得出预测缺陷区域映射产生的固定大小的特征图的轮廓、具体类别、位置坐标和空间分布信息。