[发明专利]融合目标检测模型和图像分割模型的缺陷识别方法及装置

权利要求书

1.一种融合目标检测模型和图像分割模型的缺陷识别方法，其特征在于，包括：

获取待检测设备的表面图像；

将所述待检测设备的表面图像输入至目标检测模型，得到所述待检测设备的缺陷检测结果；

将所述待检测设备的表面图像输入至图像分割模型，得到所述待检测设备的缺陷分割结果；

根据所述缺陷检测结果和所述缺陷分割结果，获取所述待检测设备的缺陷识别结果；

所述目标检测模型是根据样本设备的表面图像以及所述样本设备的缺陷检测标签进行训练得到的，所述图像分割模型是根据所述样本设备的表面图像以及所述样本设备的缺陷分割标签进行训练得到的。

2.根据权利要求1所述的融合目标检测模型和图像分割模型的缺陷识别方法，其特征在于，所述目标检测模型的训练步骤包括：

获取所述样本设备的表面图像；

根据多种预设缺陷类型，对所述样本设备的表面图像标记对应的缺陷分割标签；

根据所述缺陷分割标签，对所述样本设备的表面图像标记对应的缺陷检测标签；

根据所述样本设备的表面图像和所述样本设备的缺陷检测标签，构建缺陷检测数据集；

根据所述缺陷检测数据集，对原始目标检测模型的参数进行预训练，得到预训练参数；

根据所述预训练参数，对改进目标检测模型的参数进行迭代训练，得到所述目标检测模型；

其中，所述改进目标检测模型是，在原始目标检测模型的基础上，对所述原始目标检测模型的原始骨干网络进行改进得到的；所述原始骨干网络的改进包括将所述原始目标检测模型的原始骨干网络中的至少一个卷积网络层替换为可变形卷积网络层，并在所述原始骨干网络中增加由编码器和解码器组成的对称网络结构。

3.根据权利要求2所述的融合目标检测模型和图像分割模型的缺陷识别方法，其特征在于，所述根据所述预训练参数，对改进目标检测模型的参数进行迭代训练，得到所述目标检测模型，包括：

根据所述预训练参数，对所述改进目标检测模型的参数进行初始化；

固定初始化后的改进目标检测模型中除改进的骨干网络之外的其他网络的参数，根据所述缺陷检测数据集，对所述改进的骨干网络的参数进行训练，直到满足第一预设终止条件，得到所述改进的骨干网络的训练参数；

根据所述改进的骨干网络的训练参数，对所述初始化后的改进目标检测模型的参数进行训练，直到满足第二预设终止条件，得到所述目标检测模型。

4.根据权利要求2所述的融合目标检测模型和图像分割模型的缺陷识别方法，其特征在于，所述获取所述样本设备的表面图像，包括：

获取所述样本设备的原始表面图像；

对所述原始表面图像进行预处理和图像扩充，得到所述样本设备的表面图像；

其中，所述预处理包括归一化处理、直方图均衡化处理和降噪处理中的一种或多种组合；所述图像扩充包括叠加随机生成的背景图片、随机裁剪和随机翻转中的一种或多种组合。

5.根据权利要求1-4任一所述的融合目标检测模型和图像分割模型的缺陷识别方法，其特征在于，所述目标检测模型的损失函数是基于回归损失函数和分类损失函数构建生成的；

其中，所述回归损失函数是根据所述样本设备的缺陷检测结果和所述样本设备的缺陷检测标签确定的角度损失、距离损失、形状损失和交并比损失构建生成的；

所述分类损失函数是根据所述样本设备的缺陷检测结果和所述样本设备的缺陷检测标签确定的变焦损失构建生成的。

6.根据权利要求1-4任一所述的融合目标检测模型和图像分割模型的缺陷识别方法，其特征在于，对于当前次迭代训练，所述目标检测模型的当前学习率是根据第一学习率和/或第二学习率计算得到的；

所述第一学习率是根据当前迭代次数、最大迭代次数以及最大学习率计算得到的；

所述第二学习率是根据最大学习率、最小学习率、所述当前迭代次数以及所述最大迭代次数计算得到的。