[发明专利]一种基于视觉测量的智能控制焊接系统

权利要求书

1.一种基于视觉测量的智能控制焊接系统，其特征在于，该系统包括执行单元以及控制所述执行单元工作的控制单元；其中，

所述执行单元包括动作执行模块、线激光视觉传感器模块、以及单目立体视觉测量模块；所述动作执行模块包括用于携带焊枪移动和焊接操作的机器人，以及用于承载焊件的变位机；所述单目立体视觉测量模块包括第一工业相机、用于设置在焊件上以标识焊缝的标记发光条；所述线激光视觉传感器模块包括用于向焊件的焊接位点发射激光条纹的线激光发射器、摄像焦点正对激光条纹所照射焊接位点的第二工业相机；所述第一工业相机、第二工业相机、线激光发射器均安装在机器人的执行末端上；

该控制单元对执行单元的控制方法包括以下步骤：

S1、焊缝粗定位：通过第一相机采集图像，将该图像进行处理以获取待焊工件的空间位置信息，根据该信息确定焊缝起始点坐标，根据当前焊枪位置坐标与所述焊缝起始点坐标生成运动路径，根据该运动路径指令控制机器人带动激光条纹移动至焊缝起始点；

S2、焊缝精定位：对焊缝位置信息进行离散化处理，将所得离散的焊缝点生成运动路径，根据该运动路径指令控制机器人带动线激光视觉传感器对焊件进行扫描，获得焊件表面在机器人的基坐标系下的有序点云，通过该有序点云获得焊缝精准位置信息；

S3、焊缝在线跟踪：根据所述焊缝精准位置信息控制机器人带动激光条纹移动至焊缝起始点，通过第二相机采集焊缝实时激光条纹图像信息，对采集的图像进行处理和特征点提取以得到焊缝点位姿信息并建立焊枪实时位姿，将焊缝段信息依次写入指定数据缓冲区且在读取任务指令后控制机器人带动焊枪运动；

在步骤S1中，所述根据当前焊枪位置坐标与所述焊缝起始点坐标生成运动路径的方法包括：基于焊件的三维模型的焊缝粗定方法，以及基于单目双工位立体视觉的焊缝粗定位方法；其中，

所述基于焊件的三维模型的焊缝粗定方法包括以下步骤：

A1、基于NXOpen Api对NX软件二次开发，设计相关插件用来提取焊件三维模型中的焊缝路径；

A2、使用NX建立焊件三维模型，并规定尺寸单位及工件坐标系；

A3、手动选取焊件模型中的焊缝特征，生成包含焊缝路径信息的.TXT文件并保存；

A4、将焊件、变位机及机器人模型导入3ds Max中，经模型渲染和优化处理后输出；

A5、标定获取工件坐标系、机器人基坐标系、变位机坐标系的位置转换关系；

A6、Unity 3D加载渲染后的模型，并根据标定结果布置仿真场景，进行焊缝路径的运动仿真；

所述基于单目双工位立体视觉的焊缝粗定位方法包括以下步骤：

B1、设置第一相机参数、沿焊缝布置发光条以削弱周围环境对粗定位方法的限制；

B2、标定焊枪、第一相机及其与机器人组成的eye-in-hand手眼系统；

B3、控制机器人移动，使第一相机以两个不同的位姿采集发光条图像，并记录对应的焊枪位姿矩阵；

B4、提取标记发光条中心像素坐标，基于双目测量模型实现空间点、直线和圆弧曲线的三维重建，求解焊缝起终点空间坐标及焊缝路径信息；

在步骤B4中，标记发光条中心像素坐标的提取包括以下具体步骤：

B4.1、对线激光视觉传感器模块采集到的激光条纹图像进行包括畸变矫正、滤波、感兴趣区域提取在内的预处理；

B4.2、对感兴趣区域的图像进行图像分割，分离激光条纹图像；

B4.3、基于灰度重心法提取激光条纹中心亚像素坐标：

其中：u_i,v_j分别为第i行的像素坐标和第j列的像素坐标，f_ij为第i行j列的像素点的灰度值；

在步骤B4中，基于双目测量模型实现空间点、直线和圆弧曲线的三维重建具体包括以下步骤：

B4.4、设世界坐标系与机器人基坐标系重合，则所述步骤B3中两个不同位姿处的相机投影矩阵满足：

其中：M₁、M₂为相机投影矩阵，M_in为相机内参矩阵，为焊枪工具坐标系相对机器人基坐标系的转换矩阵，为相机坐标系相对焊枪工具坐标系的转换矩阵；

B4.5、由相机成像模型可得：

其中：P_w为空间点在世界坐标系即机器人基坐标系下的齐次坐标，P_u1、P_u2为空间点P_w在两个位姿相机成像平面的像素齐次坐标，z_c1、z_c2为空间点在相机坐标系下的深度信息；

B4.6、联立式(2)、(3)和(4)，使用最小二乘法求解方程可求解出空间点坐标P_w：

在步骤B4中，基于双目测量模型的直线、圆弧曲线焊缝的三维重建包括以下具体步骤：

B4.7、最小二乘法拟合成像直线或圆弧曲线：

B4.8、结合式(3)所示相机成像模型，基于空间平面或曲面求交，实现直线或圆弧曲线的三维重建：

其中：[a_i b_i 1]、S_i分别为投影直线、投影圆弧曲线参数方程系数组成的矩阵，[X_w Y_wZ_w 1]^T为任一空间点P的齐次坐标，[u v 1]^T为空间点P在相机成像平面上投影点的齐次坐标。