[发明专利]基于弱监督模式的缺陷粗定位方法和装置

说明书

本发明提供一种基于弱监督模式的缺陷粗定位方法和装置，包括：对获取的图像按照无缺陷图像和有缺陷图像进行分类，并按照类别对图像进行弱标注；对输入图像进行数据增强处理和归一化处理；将处理后的图像输入到全卷积网络中进行训练，利用弱标注信息使ResNet‑101网络形成注意力机机制，进行弱监督训练，以对处理后的图像进行预测；当预测结果为有缺陷图像时，利用训练完全的网络中的缺陷特征和输出层的权重，计算语义特征图，并根据语义特征图得出粗定位所需的热力图；根据热力图和输入图像得到缺陷的粗略位置。本发明仅需要缺陷的类别信息，可预测出缺陷的类别，并用热力图的方式标记出缺陷的大体位置，简化了人工标注的过程、节约所需的人力和物力。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于弱监督模式的缺陷粗定位方法、一种基于弱监督模式的缺陷粗定位装置、一种计算机设备和一种计算机程序产品。

背景技术

基于深度学习的目标检测技术是近年来计算机视觉领域中最火热的方向之一，由于其强大的学习能力，该技术在工业产品的缺陷检测领域也得到了广泛的应用。工业产品的缺陷往往十分复杂，种类、形态五花八门，传统的图像处理技术很难有效识别这些缺陷。目标检测技术通过学习人工标注好的缺陷类别和位置信息，可以较好的识别未标注图片中的缺陷，给出缺陷的类别，并用矩形框标记出缺陷的位置。在目标检测领域，强监督学习表示在训练过程中，同时需要标注的目标类别信息和位置信息，而在预测时能够给出目标的类别和精确位置的学习方式。

现在的工业缺陷的检测方式大都依赖于基于强监督学习的目标检测算法，常见的有Yolov3，Faster R-CNN等。算法首先需要由相同场景下的、人工标注的、带缺陷的图片进行训练，训练完成后可用于预测该场景下的未被标注的图片。图片的标注需要两种信息：缺陷的类别和缺陷的位置，每个缺陷仅有一种类别和一个位置。例如，图2为图片标注的示例，矩形框标注了目标的位置信息，不同颜色的框则代表了不同的类别。强监督目标检测的训练数据需要目标类别和目标位置两种标注，标注依赖于人工，在图片内具有较多目标时，标注工作费时费力，且若标注的目标位置不够准确，训练得到的模型的检测效果往往不够理想。

发明内容

本发明为解决上述技术问题，提供了一种基于弱监督模式的缺陷粗定位方法，在训练缺陷检测模型时仅需要缺陷的类别信息，而无需缺陷的位置信息，在预测时可以给出缺陷的类别，并用热力图的方式标记出缺陷的大体位置，从而极大程度上简化了人工标注的过程，节约了标注所需的人力、物力。

本发明采用的技术方案如下：

一种基于弱监督模式的缺陷粗定位方法，包括以下步骤：对获取的图像按照无缺陷图像和有缺陷图像进行分类，并按照类别对图像进行弱标注；对输入图像进行数据增强处理和归一化处理；将处理后的图像输入到全卷积网络中进行训练，在训练过程中，利用弱标注信息使ResNet-101网络形成注意力机制，进行弱监督训练，以对所述处理后的图像进行预测；当预测结果为有缺陷图像时，利用训练完全的网络中的缺陷特征和输出层的权重，计算语义特征图，并根据所述语义特征图得出粗定位所需的热力图；根据所述热力图和所述输入图像得到缺陷的粗略位置。

在本发明的一个实施例中，所述弱标注指不需要具体标注图像中缺陷的具体位置，按照类别对图像进行弱标注，包括：将所述无缺陷图像的类别标注为0，所述有缺陷图像的类别标注为1。

在本发明的一个实施例中，对输入的图像进行数据增强处理和归一化处理，包括：将所述输入的图像依次经过随机水平翻转、随机垂直翻转、随机裁切、随机对比度变化、随机亮度变化方式以进行数据增强处理；将所述数据增强处理后的图像缩放至448*448的大小，完成输入图像的归一化处理。