[发明专利]带角度估计的管线焊点深度学习视觉检测方法

说明书

本发明属于工业智能质检检测技术领域，具体涉及一种带角度估计的管线焊点视觉检测方法、系统、设备，旨在现有的管线焊点视觉检测方法难以适应检测场景多变、目标尺寸、遮挡、光照多变的复杂场景，导致管线焊点检测精度差以及不能检测焊点所在局部管线的旋转角度的问题。本方法包括获取待检测焊点的连接管线场景图像，作为输入图像；通过预训练的管线焊点检测模型检测输入图像中的连接管线上是否包含焊点，若包含，则输出焊点的类别、位置、尺寸及旋转角度；所述管线焊点检测模型基于深度神经网络构建。本发明提高了管线焊点的检测精度，并解决了不能检测焊点所在局部管线的角度的问题。

技术领域

本发明属于工业智能质检检测技术领域，具体涉及一种带角度估计的管线焊点视觉检测方法、系统、设备。

背景技术

管线焊点定位检测，广泛的应用于工业制造业、能源运输等诸多领域，是辅助焊接工艺质量检测的重要手段。例如在家用冰箱生产过程中，常对压缩机仓内的管线焊点进行气密性质检，保证制冷气体的循环；在天然气、石油等能源运输业中，保证运输管道密封性是首要的运输前提；在冬季供暖前，需要进行管道焊点密封性检查，保证安全供暖等。

随着神经网络的发展，通过视觉图像提供的信息进行焊点定位检测吸引了众多学者的关注。基于图像处理的焊点检测方法，这类方法(可参考专利文献：“一种机器人焊接质量的视觉检测方法[P].魏亚东；吴云霞；周梓荣；曾洪鑫.中国专利：CN111127402A，2020-05-08”；“汽车滤清器钎焊完整性图像处理检测方法[P].马杰张春雨；龚炜晨；陈杰平；乔印虎.中国专利：CN108535260A，2018-09-14”)一般大致可以分为四步：第一步是图像增强，去除图像中噪声与干扰；第二步是二值图像分割，并采用形态学处理方法修复分割图像；第三步采用边缘检测得到焊点的位置和尺寸；第四步与标准焊点库匹配得到质检结果，但是这类方法难以适应检测场景多变、目标尺寸、遮挡、光照多变的复杂场景，不具有检测目标姿态的能力，难以辅助机器人进行夹持检测装置对管线焊点质检。基于此，本发明提出了一种带角度估计的管线焊点视觉检测方法。

发明内容

为了解决现有技术中的上述问题，即为了解决现有的管线焊点视觉检测方法难以适应检测场景多变、目标尺寸、遮挡、光照多变的复杂场景，导致管线焊点检测精度差以及不能检测焊点所在局部管线的旋转角度的问题，本发明第一方面，提出了一种带角度估计的管线焊点视觉检测方法，该方法包括：

步骤S10，获取待检测焊点的连接管线场景图像，作为输入图像；

步骤S20，通过预训练的管线焊点检测模型检测所述输入图像中的连接管线上是否包含焊点，若包含，则输出焊点的类别、位置、尺寸及旋转角度；位置即焊点的几何中心坐标；

所述管线焊点检测模型基于深度神经网络构建，其训练方法为：

A10，获取训练样本图像及其包含的焊点类别、位置、尺寸及旋转角度的真值标签；所述训练样本图像为包含焊点的连接管线场景图像；

A20，将所述真值标签对应的焊点的几何中心沿着图像坐标系U轴和V轴以设定长度δ将训练样本图像划分为二维体素网格，并获取所述焊点的几何中心在体素坐标系的归一化坐标以及在体素中心的局部坐标系的归一化坐标；

A30，将所述真值标签对应的焊点的几何中心的设定角度范围以单位大小ω均匀划分，获取管线切线方向与U轴的角度所在的区间；将所述真值标签对应的焊点尺寸进行聚类，聚类后，获取焊点沿所在切线方向、垂直方向的长度与最接近的聚类中心尺寸的对数比例因子；

A40，将所述训练样本图像输入所述管线焊点检测模型，获取所述训练样本图像中焊点的类别、位置、尺寸及旋转角度的预测标签；

A50，通过步骤A30的聚类方法获取所述尺寸预测标签对应的对数比例因子；并通过步骤A20的方法得到所述预测标签中焊点的位置在体素坐标系的归一化坐标、在体素中心的局部坐标系的归一化坐标；