[发明专利]产品图像缺陷检测方法、装置、电子设备及存储介质

说明书

本发明涉及一种产品图像缺陷检测方法、装置、电子设备及存储介质。本发明所述的一种产品图像缺陷检测方法包括：获取待检测的产品图像；将所述产品图像输入训练好的语义分割模型，得到缺陷预测二值图；将所述产品图像输入训练好的关键点监测模型，得到所述产品图像中所有缺陷点对应的坐标；将所述缺陷点对应的坐标投射到所述缺陷预测二值图中，遍历所有缺陷预测区域，当所述缺陷预测区域内包含缺陷点对应的坐标，则判定该缺陷预测区域为真实缺陷区域。本发明所述的一种产品图像缺陷检测方法，引入关键点检测算法，利用其图像级信息预测过杀低的优势，来缓解语义分割算法的像素级信息预测过杀高的问题。

技术领域

本发明涉及工业缺陷识别的技术领域，特别是涉及一种产品图像缺陷检测方法、装置、电子设备及存储介质。

背景技术

工业生产过程中会产生各种类型的缺陷，其会影响产品质量甚或安全问题，通常需要用计算式视觉技术将其检测与识别。深度学习的语义分割算法属于像素级的分类算法，其能对图像的每个像素进行分类，预测每个像素是否是缺陷。由于语义分割是对像素进行分类，可准确输出缺陷位置与面积等业界所需的数据，且其预测精度高，稳定性强，所以广泛应用于工业外观缺陷检测与识别。

但是，将语义分割算法用于工业质检有其固有问题，其根源正是语义分割本身的特点：语义分割是对整幅图像的每个像素进行分类，只要有一个像素预测为缺陷，就意味着该图有缺陷，但由于噪声的干扰，随机出现少量像素预测为缺陷是很有可能的，业务上不应该将其视为缺陷。简而言之，就是语义分割模型存在过杀率高的问题，即将不是缺陷的少量像素预测为缺陷，导致在工业质检中将良品误判为次品。

针对语义分割的这个问题，目前常规的方法是设置面积阈值，通过卡面积的方式滤除小面积的噪声缺陷，但是，这个方法存在不足，体现在面积阈值设置得过大，会滤除真实的缺陷，设置得过小，又难以滤除噪声缺陷。也就是说技术人员难以设置统一、可靠的面积阈值，往往依靠个人经验，最终导致因人而异。

发明内容

基于此，本发明的目的在于，提供一种产品图像缺陷检测方法、装置、电子设备及存储介质，引入关键点检测算法，利用其图像级信息预测过杀低的优势，来缓解语义分割算法的像素级信息预测过杀高的问题。

第一方面，本发明提供一种产品图像缺陷检测方法，包括以下步骤：

获取待检测的产品图像；

将所述产品图像输入训练好的语义分割模型，得到缺陷预测二值图；

将所述产品图像输入训练好的关键点监测模型，得到所述产品图像中所有缺陷点对应的坐标；

将所述缺陷点对应的坐标投射到所述缺陷预测二值图中，遍历所有缺陷预测区域；

当所述缺陷预测区域内包含缺陷点对应的坐标，则判定该缺陷预测区域为真实缺陷区域。

进一步地，所述语义分割模型为deeplab v3模型。

进一步地，所述deeplab v3模型的训练过程包括：

获取语义分割数据集，所述数据集包括多张产品图像，每张产品图像包括对应的缺陷标注；

构建deeplab v3模型，其中，所述deeplab v3模型的损失函数为逐像素的交叉熵损失；

使用所述语义分割数据集训练所述deeplab v3模型，得到训练好的语义分割模型；其中，训练采用poly学习率策略，初始学习率设置为0.007。

进一步地，所述关键点检测模型为SimpleBaselines模型。

进一步地，所述SimpleBaselines模型的训练过程包括：

获取关键点检测数据集，所述数据集包括多张产品图像，每张产品图像包括对应的缺陷关键点坐标标注；