[发明专利]基于生成对抗网络的瑕疵图像生成方法、装置及相关组件

说明书

本发明公开了基于生成对抗网络的瑕疵图像生成方法、装置及相关组件，该方法包括：获取布匹图像，并标注布匹图像的图像类别和瑕疵位置，得到瑕疵真实图像；将瑕疵真实图像及预设噪声向量输入生成对抗网络的生成器中，生成瑕疵模拟图像；基于瑕疵真实图像和瑕疵模拟图像，根据预置损失函数分别对生成对抗网络的分辨器损失和生成器损失进行计算，得到分辨器损失和生成器损失，并基于分辨器损失和生成器损失对所述生成对抗网络的模型参数进行迭代，得到瑕疵图像生成网络；将瑕疵图像生成网络输出的瑕疵模拟图像与对应的瑕疵真实图像进行小波融合处理，得到理想瑕疵图像。本发明提高了通过生成对抗网络所得到的瑕疵模拟图像的质量。

技术领域

本发明涉及图像生成技术领域，特别涉及一种基于生成对抗网络的瑕疵图像生成方法、装置及相关组件。

背景技术

布匹瑕疵检测是纺织行业生产和质量管理的重要环节，由于人工检测易受主观因素影响，缺乏一致性；并且检测人员在强光下长时间工作对视力影响极大。目前，基于机器视觉的表面缺陷装备已经在各工业领域广泛替代人工肉眼检测。现有的基于深度学习的瑕疵检测方法可以整体分为全监督学习模型、无监督学习模型和其他方法。其中，全监督学习模型中，可以分为表征学习和度量学习。表征学习本质是将瑕疵检测问题看成分类任务，包括三类网络，分类网络，检测网络，分割网络。分类网络实现任务的方法主要有三种，第一种是直接利用网络进行分类，但这样需要瑕疵在图像中比例不能太小，否则其特征容易被池化掉，同时一般一个图像中只允许存在一种类别的缺陷；第二种是利用网络进行缺陷定位，比如利用滑动窗口，但是这种比较依赖网络的性能，且速度较慢；第三种是利用网络做特征提取器，这种方法的缺点是依赖其他分类器才能获得最终分类结果。检测网络可以分为两阶段网络和一阶段网络，主要是通过网络中提取的特征预测缺陷的位置和类别。二阶段检测网络首先获取图像的特征图，之后计算锚框置信度，最后对标出的区域进行瑕疵分类。一阶段网络直接在输出层回归锚框的位置和所属的类别。分割网络将瑕疵检测转化为缺陷和正常区域的语义分割甚至实例分割问题，可以获取缺陷的位置、类别和相应几何属性。度量学习是使用深度学习直接学习输入图像的相似性度量，也可以通过将正常样本和缺陷样本同事作为输入来确定缺陷的位置。

无监督学习最常用的方法是基于图像空间或基于特征空间的正常样本学习的方法。通常是在正常样本上训练，使其有强大的正常样本分布的重建和判别能力。基于图像空间方法是通过网络实现样本的重建与补全。当输入任意样本图像到网络后，都可以得到重建后的正常样本。将输入图像减去修复图像，得到的残差是判断检测样本是否异常的指标。基于特征空间的方法是在特征空间中，通过正常样本与缺陷样本特征分布之间的差异来进行缺陷检测。无监督学习的方法常用于简单统一的纹理表面缺陷检测，在复杂的工业检测环境下效果不太理想。其他方法包括弱监督和半监督方法，在瑕疵检测中的应用较少。通常基于弱监督的方法是采用图像级别类别标注(弱标签)来获取分割/定位级别的检测效果。半监督学习通常使用大量未标记数据和少部分有标签数据训练模型，一般用于解决缺陷分类或识别任务。该方法还不能广泛应用到定位与分割任务中，精度相对较低。

在进行瑕疵检测的过程中，会使用生产中的摄像头采集布匹的图像，然后使用瑕疵检测的网络模型对图像中是否有瑕疵，瑕疵的类别和位置进行检测。一个良好的检测模型要求模型检测速度快且需要一个良好的数据集，而工业摄像头采集的样本往往会有样本数量小，样本种类不均衡的问题，不符合良好数据集的条件

发明内容

本发明实施例提供了一种基于生成对抗网络的瑕疵图像生成方法、装置及相关组件，旨在解决现有技术中检测模型的数据集样本数量小的问题。

第一方面，本发明实施例提供了一种基于生成对抗网络的瑕疵图像生成方法，包括：

获取布匹图像，并标注所述布匹图像的图像类别和瑕疵位置，得到瑕疵真实图像；

将所述瑕疵真实图像及预设噪声向量输入生成对抗网络的生成器中，生成瑕疵模拟图像；