[发明专利]一种缺陷检测语义分割模型建模方法、装置、介质及设备

说明书

本发明公开了一种工件缺陷检测的语义分割模型建模方法，包括获取训练用多组原始工件点云数据，工件为包含指定缺陷种类工件；基于原始工件点云数据确定每个工件的缺陷合成图像：将原始工件点云数据转换为二维深度图；基于二维深度图分别获取第一梯度图Scale1与第二梯度图Scale2；基于RGB三通道彩色图像合成二维深度图、Scale1、Scale2以获取缺陷合成图像;获取工件对应的缺陷标注Label图像：构建语义分割模型，基于多组工件缺陷合成图像以及对应的缺陷标注Label图像训练并迭代语义分割模型参数后获取收敛的语义分割模型；待语义分割训练结束后，固化模型层与对应权重为pb文件，导出pb文件作为工件缺陷图像对应pb模型文件,可有效提高3D类缺陷分割精度与检出率。

技术领域

本发明涉及工业现场缺陷检测技术领域，具体而言，涉及一种缺陷检测语义分割模型建模方法、装置、介质及设备。

背景技术

在工业场景中，对产品零件的出厂指标都有非常严格的要求，这些要求为产品零件出厂后发挥功能性作用提供了保证。在工业场景下，各种机械、声、光、电的复杂环境和众多工序可能会给产品零件的外观造成损坏，使其成为带缺陷的产品零件。

目前，工业界普遍采取的产品缺陷检测的方式主要有两种：(1)人工检测；(2)基于机器视觉的检测方法。其中，人工检测存在效率低、成本高、人工易产生疲倦等诸多缺点；在大批量工业生产中，基于机器视觉的缺陷检测方法在准确率、速度、成本等方面都优于人工方法，因此，采用基于机器视觉的智能检测手段来取代人工方法是工业质量检测的必然趋势。

早期基于机器视觉的检测方法大多依赖于手工设计的特征，过程繁复，效果不佳，近年来，随着以卷积神经网络为代表的深度学习在目标检测等领域的广泛应用，研究者也逐渐开始将其应用到工业缺陷检测领域，让计算机自动从工业产品图像数据中学习工业缺陷模式特征并建立模型，实现智能化的工业产品检测。相对于传统视觉技术无法量化的图像提取特征，深度学习神经网络可以有效进行优化处理，一定程度上可以提高工件缺陷视觉检测的准确度和稳定性。

现有的语义分割模型所采用训练数据，一般是扫描缺陷样本获取其对应三维点云数据转换至灰度图像后，直接将灰度图像与人工标注的标签Label图像合并输入语义分割模型进行训练。由于缺陷区域图像提取特征向量与相邻图像提取特征向量维度相近，缺陷分割精度相对较差，导致缺陷检测的准确率较低。

发明内容

本发明的目的是提供一种缺陷检测语义分割模型建模方法，以解决现有技术存在的问题。

为实现上述目的，本发明提供一种工件缺陷检测的语义分割模型建模方法，其特征在于，包括如下步骤：

获取训练用的多组原始工件点云数据，所述工件为包含指定缺陷种类的工件；

基于所述原始工件点云数据确定每个工件的缺陷合成图像：将所述原始工件点云数据转换为二维深度图；基于所述二维深度图分别获取第一梯度图Scale1与第二梯度图Scale2；基于RGB三通道彩色图像合成所述二维深度图、所述Scale1、所述Scale2以获取所述缺陷合成图像；

获取所述工件对应的缺陷标注Label图像：

构建语义分割模型，基于多组所述工件缺陷合成图像以及对应的所述缺陷标注Label图像训练并迭代所述语义分割模型参数后获取收敛的语义分割模型；

待语义分割训练结束后，固化模型层与对应权重为pb文件，导出所述pb文件作为工件缺陷图像对应的深度学习pb模型文件。

作为一优选方案，基于Sobel算子获取所述二维深度图对应下第一梯度图Scale1；

和/或，基于Laplace算子获取所述二维深度图对应下的第二梯度图Scale2。

进一步的，经由三维点云投射函数将所述原始工件点云数据转换为二维深度图；