[发明专利]一种基于深度学习语义分割的被动视觉焊缝跟踪方法

权利要求书

1.一种基于深度学习语义分割的被动视觉焊缝跟踪方法，其特征在于，包括以下步骤：

步骤一：建立视觉系统并且在不借助外部光的情况下采集PAW焊接时的焊缝图像；

步骤二：基于语义分割对焊缝图像进行分割，提取出其中的弧光和焊缝部分；

步骤三：对分割后的图像进行连通域标记，消除误分割部分；

步骤四：基于弧光的几何特征确定焊枪位置并对焊缝进行直线拟合，计算出两者之间的偏移量；

步骤五：基于先前计算出的偏移量对当前结果进行滤波处理。

2.根据权利要求1所述的一种基于深度学习语义分割的被动视觉焊缝跟踪方法，其特征在于：在步骤一中，所述视觉系统具体包括相机和机械臂，其视觉系统采用被动视觉方案，所述相机的镜头设置减光片，所述相机设置在机器臂上，与焊接平台呈30度角。

3.根据权利要求1所述的一种基于深度学习语义分割的被动视觉焊缝跟踪方法，其特征在于：在步骤二中，直接采取多类别进行分割，利用BiseNetV2作为网络架构完成对弧光和焊缝特征的提取，所述特征包括几何形状以及灰度分布细节，在训练过程中采用难例挖掘的策略来提升分割效果，所引入的损失函数如下所示：

其中，其中，w_k为类别的权重，K为类别数量，p_kn为第k类的像素n在gt中的灰度值，f_kn对应的预测值，N为难例挖掘选择的像素数量。

4.根据权利要求1所述的一种基于深度学习语义分割的被动视觉焊缝跟踪方法，其特征在于：在步骤三中，根据所分割出图像焊缝部分的像素灰度空间分布信息，对图像进行连通域标记，根据各连通域所包含的像素数量，选取像素数量最多的连通域作为焊缝位置。

5.根据权利要求1所述的一种基于深度学习语义分割的被动视觉焊缝跟踪方法，其特征在于：在步骤四中，在分割出的弧光部分中确定实际焊枪的位置，选取焊接过程中几何形态相对稳定的弧光顶部作为焊枪中心选区，对焊缝进行拟合采取最小二乘法，计算出相应的直线方程，如下所示：

其中，i为像素点编号，m为像素点总数，f(x)为直线方程，(x_m,y_m)为像素点坐标，即求出令上式的值最小的直线方程表达式f(x)，即为最终焊缝位置的描述，将选定的焊枪位置纵坐标代入直线方程，计算焊缝与焊枪之间的偏移量。

6.根据权利要求1所述的一种基于深度学习语义分割的被动视觉焊缝跟踪方法，其特征在于：在步骤五中，在当前时刻进行偏移量计算时，根据前几帧图像所计算出的偏移量，对当前帧所计算出的偏移量进行滤波处理，若当前帧所获取的偏移量与前M帧偏移量的方差较小，则采取均值滤波，否则采用中值滤波。

7.根据权利要求6所述的一种基于深度学习语义分割的被动视觉焊缝跟踪方法，其特征在于：所述M的范围为0-20帧。