[发明专利]图像缺陷分类方法、装置及电子设备

说明书

本发明实施例公开了一种图像缺陷分类方法、装置及电子设备，涉及数据处理技术领域。该方法包括：针对待进行缺陷检测的目标图像进行缩放处理，得到与所述目标图像对应的缩略图；基于提取到的所述粗特征，通过反向梯度的方式得到所述目标图像对应的热力图；利用所述骨架网络中的细特征提取分支，对所述缺陷子图进行特征提取，得到所述目标图像的细特征；通过分支特征权重调节器，对所述粗特征和所述细特征进行权值调整，得到最终的目标特征，所述目标特征用于输入到集成分类器，以便于在所述集成分类器中对所述目标图像的缺陷类别进行预测。通过本申请的方案，提高了图像缺陷分类的效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及图像缺陷分类技术。

背景技术

缺陷检测和分类任务中，有以下需求和问题：

1）有复杂场景的缺陷检测需求：缺陷检测和分类需求中，如工件表面的缺陷检测中，同一零件工件在不同的工艺流程中背景、光照条件都不一致，导致存在不同背景下需要缺陷检测的需求。

2）在图像中有大缺陷和小缺陷，现有的图像分类方法不能很好地同时适用大缺陷和小缺陷。大缺陷，在小图像中特征能保留；而在缩放后的小图像中，小缺陷将变得更小，特征不易提取，致使小缺陷分类效果差。

现有的缺陷分类技术，主要有3个：

a) 经典图像分类方法：

以区分不同的缺陷类别作为分类的目标，通常采用vggNet，ResNet，DenseNet等经典分类神经网络进行缺陷分类。但由于没有缺陷定位算法，只能通过对原图缩放后的resized_img子图，将定位后的缺陷位置图缩放到一定尺寸后作为输入，通过backbone骨架网路进行特征提取，之后再通过全连接层等分类器对特征进行分类，得到此图的缺陷类别。

b) 基于特定缺陷定位算法的图像分类方法：

通常，该方法首先通过传统图像处理算法或GAN、AutoEncoder等深度学习方法，进行缺陷的定位；之后，通过缺陷位置信息，从原图中裁切出一定大小的cropped_img子图，采用经典网络进行缺陷类别预测。

c) 目标检测方法：

目前，Yolo、RCNN等目标检测方法是进行缺陷分类效果最佳、应用较广的方式。但目标检测需要人工标注，标定出缺陷类别和各个缺陷在图中的位置信息。

现有方案(a). 没有定位算法的缺陷分类方法：分类效果有限；现有方案(b).基于特定缺陷定位算法的缺陷分类方法：强依赖于图片的场景和缺陷定位算法，不同场景的图片，其需要的缺陷定位算法不同；现有方案(c).目标检测算法：需要大量的人工标注

针对上述问题，亟需一种全新的图像缺陷分类技术。

发明内容

有鉴于此，本发明实施例提供一种图像缺陷分类方法、装置、电子设备、非暂态计算机可读存储介质及计算机程序，至少部分的解决现有技术中存在的问题。

第一方面，本发明实施例提供了一种图像缺陷分类方法，包括：

针对待进行缺陷检测的目标图像进行缩放处理，得到与所述目标图像对应的缩略图，以便于利用骨架网络中的粗特征提取分支对所述缩略图进行特征粗提取，得到粗特征；

基于提取到的所述粗特征，通过反向梯度的方式得到所述目标图像对应的热力图，以便于基于所述热力图对所述目标图像上存在的缺陷进行定位，并基于定位得到的缺陷位置从所述目标图像上裁剪缺陷子图；

利用所述骨架网络中的细特征提取分支，对所述缺陷子图进行特征提取，得到所述目标图像的细特征；