[发明专利]一种基于深度学习的长尾夹缺陷检测方法及系统

权利要求书

1.一种基于深度学习的长尾夹缺陷检测方法，其特征在于，包括以下步骤：

S1：构建样本数据集

采集长尾夹缺陷样本，构建长尾夹缺陷图像数据集，并对图像数据集进行数据增强，完成数据集缺陷标注工作；

S2：获取预训练模型

获取经大型图像数据集训练过的基于卷积神经网络的YOLOv4-Tiny预训练模型；

S3：构建长尾夹缺陷检测识别模型

将步骤S2中的预训练模型迁移至原始YOLOv4-Tiny模型中，并在YOLOv4-Tiny网络中加入全局注意力机制模块，构建适用于长尾夹缺陷检测的神经网络模型；

S4：进行检测识别

利用步骤S3中的长尾夹缺陷检测神经网络模型对长尾夹缺陷图像数据集进行检测识别。

2.根据权利要求1所述的一种基于深度学习的长尾夹缺陷检测方法，其特征在于：在所述步骤S1中，构建样本数据集的过程如下：

S11：采集用于实验的数据样本，然后将图片分为训练集和测试集；

S12：对训练集中的图像进行翻转、旋转、平移、添加噪声的处理实现数据扩充；

S13：使用LabelImg工具对长尾夹缝隙图像进行标记，生成与图像样本一一对应的xml文件，记录标记框的坐标位置以及缝隙的种类，用于后期网络模型的训练。

3.根据权利要求2所述的一种基于深度学习的长尾夹缺陷检测方法，其特征在于：在所述步骤S11中，所述训练集和所述测试集中图像样本包括两种根据不同视角标记的缺陷类别，分别为Gap1、Gap2。

4.根据权利要求1所述的一种基于深度学习的长尾夹缺陷检测方法，其特征在于：在所述步骤S3中，构建长尾夹缺陷检测识别模型的过程如下：

S31：以YOLOv4-Tiny网络模型为基础框架，将经大型图像数据集上训练完成的权值参数迁移至YOLOv4-Tiny网络模型上；

S32：在YOLOv4-Tiny网络模型中添加全局注意力机制模块；

S33：将训练集图像输入到经步骤S32改进后的YOLOv4-Tiny网络模型中，设置合适的超参数进行训练并保存模型，该模型即长尾夹缺陷检测识别模型。

5.根据权利要求4所述的一种基于深度学习的长尾夹缺陷检测方法，其特征在于：在所述步骤S31中，权值参数迁移后的YOLOv4-Tiny网络结构包括：CSP Darknet53_Tiny网络、FPN网络、Yolo Head网络，所述CSP Darknet53_Tiny网络、所述FPN网络、所述Yolo Head网络依次连接。

6.根据权利要求5所述的一种基于深度学习的长尾夹缺陷检测方法，其特征在于：在所述CSP Darknet53_Tiny网络中，首先是两个步长为2的卷积标准化加激活函数，对长尾夹缺陷图像进行两次高和宽的压缩；然后依次经过三个融合CSPnet网络特点的残差网络；最后进行一次卷积标准化加激活函数进行特征整合，得到一个有效特征层。

7.根据权利要求6所述的一种基于深度学习的长尾夹缺陷检测方法，其特征在于：在所述FPN网络中，将有效特征层进行1×1卷积，再进行卷积加上采样操作，最后进行有效特征层的堆叠。

8.根据权利要求7所述的一种基于深度学习的长尾夹缺陷检测方法，其特征在于：在所述Yolo Head网络中，通过3×3卷积进行特征整合，再通过1×1卷积将获取到的特征转化为YOLOv4-Tiny的预测结果，完成长尾夹缺陷检测。

9.根据权利要求5所述的一种基于深度学习的长尾夹缺陷检测方法，其特征在于：对于每一个特征位置，为了更加紧凑地捕获全局的结构信息和局部的外观信息，通过所述全局注意力机制模块将各种关系堆叠起来，即将所有的特征位置的成对相关性与特征本身一起，使用一个浅层神经网络来学习出注意力。

10.一种基于深度学习的长尾夹缺陷检测系统，其特征在于，采用如权利要求1～9任一项所述的检测方法对长尾夹缺陷进行检测，包括：

样本集构建模块，用于采集长尾夹缺陷样本，构建长尾夹缺陷图像数据集，并对图像数据集进行数据增强，完成数据集缺陷标注工作；

预训练模型获取模块，用于获取经大型图像数据集训练过的基于卷积神经网络的YOLOv4-Tiny预训练模型；

检测识别模型构建模块，用于预训练模型迁移至原始YOLOv4-Tiny模型中，并在YOLOv4-Tiny网络中加入全局注意力机制模块，构建适用于长尾夹缺陷检测的神经网络模型；

检测识别模块，用于长尾夹缺陷检测神经网络模型对长尾夹缺陷图像数据集进行检测识别；

中央处理模块，用于向其他模块发出指令，完成相关动作；

所述样本集构建模块、预训练模型获取模块、检测识别模型构建模块、检测识别模块均与中央处理模块电连接。