[发明专利]一种基于深度学习语义分割的被动视觉焊缝跟踪方法

说明书

本发明公开了一种基于深度学习语义分割的被动视觉焊缝跟踪方法，包括以下步骤：建立视觉系统并且在不借助外部光的情况下采集PAW焊接时的焊缝图像；基于语义分割对焊缝图像进行分割，提取出其中的弧光和焊缝部分；对分割后的图像进行连通域标记，消除误分割部分；基于弧光的几何特征确定焊枪位置并对焊缝进行直线拟合，计算出两者之间的偏移量；基于先前计算出的偏移量对当前结果进行滤波处理，本发明的有益效果：通过构架BiseNetV2网络，实现了对弧光、焊缝的精准分割以及焊枪位置的精准定位；同时采取滤波方法可以获取更高的精度，以满足对焊缝的实时跟踪的精度要求。

技术领域

本发明涉及图像处理技术领域，具体是一种基于深度学习语义分割的被动视觉焊缝跟踪方法。

背景技术

等离子弧焊是焊接领域的一个重要技术分支，可以更易于控制焊接起弧点以控制焊接质量，且电弧更加集中。近年来，随着焊接工艺的不断优化，等离子弧焊已经在各个工业制造领域内得到了广泛应用。然而在使用等离子弧焊进行拼接板的焊接时，如何让机器人在焊接过程中自动进行轨迹的纠正是一个亟待解决的技术性问题。在进行等离子弧焊时，会产生较强的电弧光，而且焊缝本身特征不明显，这就导致对于焊缝的定位相对比较困难。

发明内容

本发明的目的在于提供一种基于深度学习语义分割的被动视觉焊缝跟踪方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于深度学习语义分割的被动视觉焊缝跟踪方法，包括以下步骤：

步骤一：建立视觉系统并且在不借助外部光的情况下采集PAW焊接时的焊缝图像；

步骤二：基于语义分割对焊缝图像进行分割，提取出其中的弧光和焊缝部分；

步骤三：对分割后的图像进行连通域标记，消除误分割部分；

步骤四：基于弧光的几何特征确定焊枪位置并对焊缝进行直线拟合，计算出两者之间的偏移量；

步骤五：基于先前计算出的偏移量对当前结果进行滤波处理。

进一步的，在步骤一中，所述视觉系统具体包括相机和机械臂，其视觉系统采用被动视觉方案，即不额外使用光源进行照明，利用减光片减弱电弧光对图像采集的影响，所述相机设置在机器臂上，与焊接平台呈30度角，所以相机和机械臂相对位置静止，采集到的图像可以直接通过映射计算出实际距离。

进一步的，在步骤二中，直接采取多类别进行分割，利用BiseNetV2作为网络架构完成对弧光和焊缝特征的提取，实现对图像的焊缝部分和弧光部分的实时高精度分割，所述特征包括几何形状以及灰度分布细节，为了均衡焊缝图像中焊缝部分和弧光部分像素比例不均衡的现象，在训练过程中采用难例挖掘的策略来提升分割效果，所引入的损失函数如下所示：

其中，其中，w_k为类别的权重，K为类别数量，p_kn为第k类的像素n在gt中的灰度值，f_kn对应的预测值，N为难例挖掘选择的像素数量。

进一步的，在步骤三中，根据所分割出图像焊缝部分的像素灰度空间分布信息，对图像进行连通域标记，根据各连通域所包含的像素数量，选取像素数量最多的连通域作为焊缝位置，据此消除误分割所引入的影响。

进一步的，在步骤四中，在分割出的弧光部分中确定实际焊枪的位置，选取焊接过程中几何形态相对稳定的弧光顶部作为焊枪中心选区，对焊缝进行拟合采取最小二乘法，计算出相应的直线方程，如下所示：