[发明专利]一种图像异常检测与定位的方法、装置、设备及存储介质

说明书

本发明公开了一种图像异常检测与定位的方法、装置、设备及存储介质，方法包括：根据仅包括正常图像的训练数据生成带有异常区域的异常图像和像素级标签；将异常图像分别输入到教师、学生网络，对应得到第一、第二特征图集合；教师、学生网络采用不同类型的神经网络模型；通过多尺度特征融合模块将第二特征图集合的特征图融合，得到第三特征图集合；根据像素级标签、可分辨蒸馏损失函数和第一、第三特征图集合，对异常图像中的正常、异常区域，在教师、学生网络间进行可分辨的知识蒸馏；通过教师网络和知识蒸馏后的学生网络对待识别图像的异常区域进行检测和定位。本发明解决了识别图像异常和定位精准度不足的问题，可广泛应用于计算机视觉领域。

技术领域

本发明涉及计算机视觉领域，尤其是一种图像异常检测与定位的方法、装置、设备及存储介质。

背景技术

工业图像的异常检测及定位是计算机视觉领域中的一个非常重要的任务，工业图像异常检测及定位的难点在于在一些实际应用的场景下，人们很难收集带有异常的数据，比如：工厂在正常流水线生产工件的情况下，产生的都是正常的工件，很难收集到带有异常的工件。在此条件下，人们提出只使用正常样本作为训练数据去训练模型，让模型去做异常检测及定位的任务，这给模型带来的非常大的挑战。此任务包括两个子任务：不仅要判定图像是否含有异常而且需要定位到异常的位置。现有技术中，由于缺乏带有异常的数据，基于此训练的异常识别模型在判断图像是否含有异常以及定位异常时存在精准度不足的问题。

因此，上述问题亟待解决。

发明内容

有鉴于此，本发明实施例提供一种图像异常检测与定位的方法、装置、设备及存储介质，用于解决因缺乏异常区域而导致识别图像异常和定位精准度不足的问题。

本发明实施例的一方面提供了一种图像异常检测与定位的方法，包括：

根据仅包括正常图像的训练数据生成带有异常区域的异常图像和像素级标签；

将所述异常图像输入到教师网络得到一组分辨率不同的特征图，作为第一特征图集合；将所述异常图像输入到学生网络得到一组分辨率不同的特征图，作为第二特征图集合；所述教师网络与所述学生网络采用不同类型的神经网络模型；

通过多尺度特征融合模块将所述第二特征图集合中的特征图进行融合，得到对应的一组融合特征图，作为第三特征图集合；

根据所述像素级标签、预设的可分辨蒸馏损失函数、所述第一特征图集合以及所述第三特征图集合，对所述异常图像中的正常区域和异常区域，在所述教师网络和所述学生网络间进行可分辨的知识蒸馏；

通过所述教师网络和知识蒸馏后的所述学生网络对待识别图像中的异常区域进行检测和定位。

可选地，所述教师网络采用卷积神经网络，所述学生网络采用Transformer网络。

可选地，所述根据仅包括正常图像的训练数据生成带有异常区域的异常图像和像素级标签，包括：

生成柏林噪声图并二值化处理，得到二元噪声图；

将所述二元噪声图与所述训练图像结合，生成带有异常区域的异常图像和像素级标签。

可选地，所述将所述异常图像输入到教师网络得到一组分辨率不同的特征图，作为第一特征图集合，包括：

将所述异常图像输入到教师网络，所述教师网络输出多个阶段对应的特征图，其中，各个阶段逐渐增大感受野，输出不同分辨率的特征图，得到一组分辨率不同的特征图，作为第一特征图集合；

所述将所述异常图像输入到学生网络得到一组分辨率不同的特征图，作为第二特征图集合，包括：

将所述异常图像输入到学生网络，所述学生网络输出多个阶段对应的特征图，其中，各个阶段逐渐增大感受野，输出不同分辨率的特征图，得到一组分辨率不同的特征图，作为第二特征图集合。