[发明专利]一种基于深度学习语义分割的缺陷检测方法

权利要求书

1.一种基于语义分割的缺陷检测方法，其特征在于具体包括以下步骤：

S1、制作物体表面缺陷训练图像集，在同一场景下对不同空间位姿下的物体表面进行表面缺陷图像样本采集；

S2、制作物体表面缺陷图像集，采用图像增强技术完成表面缺陷图像的手动标注；

S3、利用表面缺陷训练图像集TrainSet_Defect为输入，表面缺陷标注训练图像集TrainLabelSet_Defect为输出，搭建应用于物体表面缺陷检测的深度学习语义分割缺陷检测模型；

S4、进行深度学习语义分割缺陷检测模型的训练；

S5、基于已训练的深度学习语义分割缺陷检测模型，进行物体表面缺陷检测；得到对应输出的具有缺陷种类标签图像，获得缺陷检测结果。

2.根据权利要求1所述的基于语义分割的缺陷检测方法，其特征在于步骤S1中，采集样本图像数量为N幅，N≥300。

3.根据权利要求1所述的基于语义分割的缺陷检测方法，其特征在于步骤S2中，在物体表面缺陷图像集制作中，要求表面缺陷面积截取图像的1/3，否则不被视为缺陷图像；在一幅缺陷图像中，缺陷数据要远少于背景数据；经过物体表面缺陷图像增强处理算法后，图像中缺陷数据与背景数据的比值接近1:1；步骤S2中图像增强技术包括图像翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动以及旋转变换/反射变换中的至少一种。

4.根据权利要求1所述的基于语义分割的缺陷检测方法，其特征在于步骤S2手动标注表面缺陷图像时，记录表面缺陷训练图像集为TrainSet_Defect，图像格式为[m,n,3]，记录表面缺陷标注训练图像集对应为TrainLabelSet_Defect，图像格式为[m,n]，m为图像尺寸对应长度，n为图像尺寸对应宽度。

5.根据权利要求1所述的基于语义分割的缺陷检测方法，其特征在于步骤S3中所述深度学习语义分割缺陷检测模型设置为对图像中每个像素进行分类理解，针对物体表面缺陷区域对应像素进行图像分割，按照不同缺陷种类进行分类，对于同一种类的不同表面缺陷给予相同的缺陷种类标签并进行输出；如果图像中包含同一类别的两个目标，则其对应具有相同的类别标签，即属于同一种类的不同表面缺陷会给予相同的缺陷种类标签。

6.根据权利要求1所述的基于语义分割的缺陷检测方法，其特征在于步骤S3中深度学习语义分割缺陷检测模型包含四个主要组成部分：卷积层、池化层、降采样层和上采样层；在降采样层完成特征向量的降维采样；输入数据格式为[m,n,3]的缺陷图像数据，输出的标签图像为[m,n]格式的标签图像，标签图像中包含不同类别的缺陷种类以及背景。

7.根据权利要求1所述的基于语义分割的缺陷检测方法，其特征在于步骤S3中深度学习语义分割缺陷检测模型设置的图像输入格式为[m,n,3]，经过模型卷积层、池化层后压缩形成压缩特征向量[w,h,d]，其中w为特征向量的跨度，h为特征向量的高度，d为特征向量的深度；缩特征向量[w,h,d]经过降采样层输入到模型上采样层，重建与深度学习语义分割缺陷检测模型网络的输入层维度相同的输出向量[m,n]，即输出与输入图像对应的具有缺陷类别的标签图像[m,n]。

8.根据权利要求1所述的基于语义分割的缺陷检测方法，其特征在于步骤S4中进行深度学习语义分割缺陷检测模型的训练按以下方式进行：

针对缺陷图像集ImageSet_Defect与缺陷标注图像集合LabelImageSet_Defect，将图像中背景信息设置为0类检测项，包括裂纹类的缺陷信息设置为1类检测项，对应权重比值按对应像素统计比值进行设置，即对应图像中0类和1类检测项对应像素点数量比值为1：k，k为常数，则对应训练权重比值为k：1；然后设置最大训练迭代次数为N＝30000，N对应数值尽可能大，在实际训练过程中若loss值已收敛，则可停止训练，进而检测测试效果。