[发明专利]一种机械臂进给式激光刻蚀系统的对刀方法

权利要求书

1.一种机械臂进给式激光刻蚀系统的对刀方法，其特征在于，该方法基于单目视觉测量原理及主动结构光投射模型，通过对激光刻蚀系统优化改进，在系统内部加设视觉传感器及主动投射指示激光器，增添系统内异种空间非合作机电设备间交互信息获取功能；虑及倾斜视觉测量构型引入的非正视透视畸变及视觉传感器成像失真问题，采用逆透视变换几何校正及相机畸变补偿技术，进行图像信息修正；基于经典视觉标定技术，对视觉传感器及手眼构型配置进行内外参数标定，构建加工系统中工业相机与工业机械臂空间相对位置模型；结合多帧序列图像动态变换及多轴驱动进给装置空间形位特征信息，基于运动与图像的调制-被调制映射关系解算，实现工作空间内激光刻蚀聚焦平面与零件起始待加工特征点间的精确找正；机械臂进给式激光刻蚀系统的对刀方法具体步骤如下：

步骤一，安装机械臂进给式激光刻蚀系统

机械臂进给式激光刻蚀系统中，工业机械臂(6)固定在工业机械臂基座(13)上，在工业机械臂(6)末端安装夹具装载平台(7)；夹具装载平台(7)前端面上部装夹单目工业相机(1)，单目工业相机(1)与水平地面呈70°俯倾角度斜置；夹具装载平台(7)下部安装环形工件夹具(8)，环形工件夹具(8)顶端与夹具装载平台(7)前端面法向平行；单目工业相机(1)与环形工件夹具(8)相对位置在加工全过程恒定；在环形工件夹具(8)顶面的远离夹具装载平台(7)的端面，黏附两幅一组ArUco方形基准码(4)，ArUco方形基准码(4)与环形工件夹具(8)顶面局部特征边缘共同处于单目工业相机(1)有效可及视场内；在加工系统内部的水平地面上固定棋盘格标定板(5)；立式稳定台(12)安装在工业机械臂(6)的前方，激光器主梁(10)安装在立式稳定台(12)前端面上，激光器主梁(10)的腔体内安装有电源和绿色刻蚀激光器(9)；在激光器主梁前端加装正交于主梁中线的方形模块(14)，方形模块(14)内部横置红色指示激光器(2)及合束镜(3)，保持红色指示激光器(2)光轴与绿色刻蚀激光器(9)光轴正交，共同指向出射口处合束镜(3)的中心，进而使两偏振激光合束同轴出射；红色指示激光器(2)投射光束可由扩束镜旋钮调节投射光斑直径及亮度，红色指示激光器出射光路正交于绿色刻蚀激光器(9)投射的刻蚀激光光路，两束偏振激光共同指向合束镜中心；合束镜与刻蚀激光光轴呈起偏振角倾斜安置；据斯涅耳定律，设定θ_P为入射起偏振角，r₁为空气标况折射率，r₂为偏振片标况折射率，有光学折射等式：

r₁sin(θ_p)＝r₂sin(90°-θ_p)＝r₂cos(θ_p)(1)

进而起偏振角绿色刻蚀激光器(9)出射光束以相对起偏振角θ_P入射穿过合束镜(3)的后透射镜面，与经前反射镜面反射的红色指示激光器(2)出射光束实现同轴心合束；

其中，由单目工业相机(1)、红色指示激光器(2)、合束镜(3)、ArUco方形基准码(4)及棋盘格标定板(5)构成定位对刀装置；

上位机(11)与电控设备相连，工业机械臂(6)、单目工业相机(1)、绿色刻蚀激光器(9)和红色指示激光器(2)基于各自端口协议同上位机(11)建立通讯连接，多机电设备的协同动作统一由上位机内置的过程控制软件实现调度；

步骤二，单目工业相机内参数标定

单目工业相机(1)内参数标定在系统外部执行，通过棋盘格标定板(5)基于经典张氏标定法进行参数标定，即分别调整15种空间姿态拍摄棋盘格标定板(5)，求解多幅棋盘格标定板(5)成像图与棋盘格标定板(5)空间物平面间单应性矩阵，施以通用旋转变换，联立多组方程求解并辨识分离得到3×3归一化内参数矩阵其中f为焦距，(u_c,v_c)为单目工业相机光轴同成像面交点坐标；

步骤三，基准码识别与正向视向校正

首先，对视场图像全域进行高斯滤波去噪，在预设标准差σ后，基于二维高斯分布式：

计算中心锚点八领域形成3×3高斯卷积核，并对图像全域进行遍历卷积处理，滤除随机高斯噪声；

其次，统计目标图像域灰度分布情况，根据不同区域像素灰度分布，计算各区域局部灰度阈值，对目标视场进行灰度自适应阈值分割，生成黑白像素表征的二值图像，进而对上述二值图像进行Canny边缘识别，采用Hough变换提取直线特征，生成图像全域的特征轮廓；已知ArUco方形基准码为规则几何正方形，内部嵌套表征ArUco方形基准码序号的二维码，故提取特征轮廓图像中符合ArUco方形基准码形状的完全闭合区域，由此提取得到图像中ArUco方形基准码四边分别为l₁、l₂、l₃、l₄；基于预设二维码字典库，在两个闭合区域内部遍历匹配二维码特征，识别ArUco方形基准码二进制ID，实现目标视场内两幅ArUco方形基准码的识别与编号；ArUco方形基准码正方形四角的像素坐标由图像中已识别正方形四边l₁、l₂、l₃、l₄的交点确定，在提取方形四角点及周边特征基础上，采用单目视觉P4p(Perspective-4-Points)测量技术，解算目标ArUco方形基准码相对单目工业相机光心的位姿表征矩阵，具体为：设定ArUco方形基准码正方形四个角点的基准码坐标系P_i＝(U_i,V_i,W_i)下坐标值为其中ρ为ArUco方形基准码实物边长；设定[R_M|T_M]为ArUco方形基准码相对单目工业相机光心的旋转平移矩阵，四个角点对应图像域内图像坐标点p₁(u₁,v₁)，p₂(u₂,v₂)，p₃(u₃,v₃)，p₄(u₄,v₄)，联合单目工业相机内参数矩阵定义透视模型为：

进而规定：

则逆推得像点预估初值为：

其中，i为对应角点编号，ε_i与δ_i分别为服从高斯分布的白噪声，σ²为白噪声方差，再定义评价函数F为：

式中K₁为常数，应用LM算法(Levenberg-Marquardt)对评价函数作负对数最小化约束的迭代：

式中K₂为常数，最后对所求最优解QR矩阵分解，分离得到ArUco方形基准码相对单目工业相机的位姿表征矩阵[R_M|T_M]；

再次，在默认ArUco方形基准码实物尺寸标值精确的基础上，将上述位姿表征矩阵[R_M|T_M]法向下沉ArUco方形基准码厚度值Δt，即得ArUco方形基准码粘附处环形工件夹具上端面的局部位姿表征矩阵：

[R_f|T_f]＝[R_M|T_M][R_Δt|T_Δt](8)

在ArUco方形基准码周边l_i及周边l_i相交所得角点p_i准确识别基础上，将图像域内ArUco方形基准码粘附区域以比例K倍相似扩展至可完全包络红色指示激光器投射光斑的尺寸，对放大扩展域进行逆透视变换重投影：即设定(x_o,y_o)为原始投影平面像点，(x_t,y_t)为规范化重投影面上对应像点，则有透视变换重投影映射公式：

其中，表征缩放、剪切、旋转变换，[g h]表征平移，[c f]^T表征透视映射；已知ArUco方形基准码正视投影下为规则几何正方形，则相应设定规范化投影面目标域为规则正方形，且四角规范化投影面坐标依次为(0,0)、(1,0)、(0,1)、(1,1)，在原始投影图像中，由ArUco方形基准码四边相交提取得到的ArUco方形基准码四个角点像素坐标设定为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)，定义：

代入方程(9)，联立得：

将式(11)回代到透视变换映射公式(9)中，对上述放大扩展域做重投影，可得正视平行射影下的几何校正图；

最后，面向解决倾斜射影校正带来的图像远端分辨率稀疏的失真问题，结合对刀装置视觉测量实际构型，定义简化后的中心投影相机倾斜射影模型为二维平面内中心投影的三角形成像模型，该三角形成像模型有两段内部倾斜线；其中，三角形顶点表征单目工业相机光心，顶点向下延伸的垂线表征单目工业相机光轴；三角形底边为校正面S′，表征校正后虚拟成像物面；三角下部倾斜线为物面S，表征实际成像物面，即环形工件夹具上端面的成像；三角上部倾斜线与下部倾斜线平行，表征单目工业相机成像面s；光轴与物面S/成像面s有夹角θ_f，物面S与校正面S′有夹角θ，则有为便于确定像素信任的分段分区，从以光心与物面S垂线为分割线的成像远端开始，将光心-纵向虚拟物点所成平面做n次Δ＝5°分度的扇形摆动，截交成像面s得到多段成像面s纵向分割线，截交校正面S′得到多段校正面S′纵向分割线，对应设定线段a表征光心与校正面S′连线截得的局部物面，线段b表征光心与校正面S′连线截得的局部校正面，线段c表征物面S与校正面S′截得的局部光心-校正面线段，分别依次存在对角A、对角B及对角C，进而可得线段a的对角A＝90°-n×5°-θ，线段b的对角B＝90°+n×5°，线段c的对角A＝θ；已知正弦角定理：

则在分度摆动过程中，基于单目工业相机靶面尺寸、图像电子放大比例及校正图像尺寸，可求得校正面S′与成像面s物理尺寸，进而线段a与线段b长度及其多段比例关系全部可求，依据物面S与校正面S′多段截交线间距及其对应比例，辨识得校正面S′与物面S各分段成像放大关系，设定图像全域的动态信任分段分区的权重值，降低成像畸变影响；

步骤四，工业机械臂与单目工业相机相对位姿标定

工业机械臂(6)与单目工业相机(1)相对位姿标定过程为：控制工业机械臂(6)在三种不同形位下对棋盘格标定板(5)拍摄成像，进而基于单目视觉测量原理测量解算棋盘格标定板相对单目工业相机(1)光心的位姿表征矩阵[R|T]_c1、[R|T]_c2、[R|T]_c3及其位姿间变换阵记录工业机械臂末端当前位姿表征矩阵[R|T]_r1、[R|T]_r2、[R|T]_r3及其位姿间变换阵规定单目工业相机相对工业机械臂转换关系为i与j对应位姿变换次序，经过坐标系转换可得：

展开得：

将与进行罗德里戈旋转变换为归一化旋转向量与

则修正的罗德里戈姿态变化参数与为：

单目工业相机相对工业机械臂末端的初始旋转向量`P_r^c：

单目工业相机相对工业机械臂末端的旋转向量

对旋转向量进行罗德里戈反转换为旋转矩阵

回代到公式(14)中得

最终，得到单目工业相机相对工业机械臂末端的旋转变换矩阵

步骤五，激光光斑提取及夹具边缘线识别

对红色指示激光器(2)投射光斑边缘及重心进行提取识别；为便于红色指示激光器(2)投射光斑的低损提取，对已几何校正的RGB原图像全域进行HSV颜色空间转换，即设目标图像各像素点RGB值为(R,G,B)，对(R,G,B)分量归一化处理得到(r,g,b)，其中r＝R/255，g＝G/255，b＝B/255，再经内部分量数值比对，预设K_max＝max(r,g,b)，K_min＝min(r,g,b)，Δ＝K_max-K_min，则目标图像各像素点HSV各分量为：

面向红色指示激光器投射光斑像素准确提取，在HSV色彩转换基础上，以红色指示光颜色在HSV颜色空间中的先验参数为基准，经颜色直方统计区间参数再细化，设定提取匹配区间，遍历目标图像，搜寻并记录符合要求的像素坐标，进而生成目标光斑像素点的像素集合Ω_L及新掩模二值图像I；预设形态学n×n矩形结构元素M，对二值图像I基于结构元素M执行形态学闭运算消除新掩模图像I有效区域内部因信息丢失造成的像素空洞；接下来，对形态学修正后的二值图像I进行Canny算子边缘提取，进而得到红色指示激光器投射光斑边缘像素集合Ω_E；为实现光斑中心的识别定位，依据所记录红色指示激光器投射光斑像素坐标集合Ω_L，采用亚像素灰度重心法提取，即：

其中G(u,v)为像素灰度值，即为红色指示激光器投射光斑亚像素重心；

最后，环形工件夹具特征边缘的提取采用泛洪式图像填充算法；泛洪式图像填充算法具体搜索流程为：在单帧二值图像中，经过人眼观测分辨，初步确定环形工件夹具边缘位置，交互选取多个边缘任意点为起始种子像素点P₀，选用P₀八领域深度优先搜索策略，以“不间断连通”为包容原则，剔除“间断”拒绝原则排除的局部邻域点，并将搜索得到的领域像素点P_i作为新种子接续扩散，其中，部分错误选择的起始种子点P₀及邻接延伸像素在搜索过程中呈现局部连通或离散独立状态，难以有向接续扩散，由此判断该起始种子点P₀为误选取像素，进而终止该子搜索流程且直接剔除P₀；最后，将多个种子起点P₀及其漫延生长得到的目标像素P_i集合归类为环形工件夹具边缘，快速得到环形工件夹具边缘像素点集Ω_F；

步骤六，系统模型构建及定位对刀

首先，已知基模高斯光束模型三维空间内几何模型为符合a²＝b²的标准单叶双曲面曲面交x轴于(±a,0,0)，交y轴于(0,±b,0)，沿激光传播方向的半径变换遵循双曲线延展，z为距焦平面距离，ω(z)为光斑半径，z₀为瑞利长度；由此，可得空间内实际光束传播单叶双曲面模型为：

在环形工件夹具与红色指示激光器投射光束的空间交互过程中，激光光束传播受环形工件夹具顶端面截断，在平面内投射形成二维特征光斑，并且红色指示激光器投射光斑几何形状随环形工件夹具空间位姿变换而被调制变形；将红色指示激光器投射光斑被调制变形等效视为单叶双曲面与任意空间平面Ax+By+Cz+D＝0，即环形工件夹具上端面的动态截交过程，结合空间单叶双曲面的平面截交线几何规律，截交线几何形状可知为“椭圆曲线”或“对称卵形曲线”；激光高斯光束瑞利长度内近似准直，若实际瑞利长度接近或超出交互空间z向范围，激光光束的空间单叶双曲面模型应简化为空间圆柱模型；

其次，结合红色指示激光器投射光斑边缘像素集合Ω_E成像几何的人工观测，初步确定红色指示激光器投射光斑成像的几何形状，进而在执行曲线拟合基础上，求解目标曲线几何参数：

①若红色指示激光器投射光斑成像确定为椭圆曲线，此时光束截交有两种情况：1)环形工件夹具上端面经过光束传播单叶双曲面x轴或y轴；2)环形工件夹具上端面与瑞利长度接近或超出交互空间z向范围的高斯光束截交；对红色指示激光器投射光斑边缘像素集合Ω_E进行最小二乘椭圆拟合，基于平面椭圆一般式：

x²+Axy+By²+Cx+Dy+E＝0(24)

对红色指示激光器(2)投射光斑轮廓测量点集以下式为目标函数进行拟合：

为使目标函数F最小，对式(25)求偏导，即：

由此得：

解方程得：

其中(x₀,y₀)为所拟合椭圆中心点图像坐标，θ为椭圆轴倾角，a、b分别为椭圆短轴与长轴；

②若确定红色指示激光器投射光斑成像为对称卵形曲线，此时环形工件夹具上端面不穿过单叶双曲面坐标轴，以任意空间姿态同双曲面截交；已知单叶双曲面由特征双曲线围绕其主轴旋转而产生，任意空间平面与单叶双曲面截交所得对称卵形曲线，可由单叶双曲面XOZ/YOZ投影面上直线与双曲线截交线段的几何参数等效描述；其中，双曲线内部截线段长即为对称卵形曲线中轴M长度，双曲线内部截线上点到双曲线水平距离的两倍值即为对称卵形曲线对应横轴N长度，设双曲线与直线相交式：

解得交点P₁(x₁,y₁)、P₂(x₂,y₂)，其中：

故对称卵形曲线中轴长度为上述交点间距：

以对称卵形曲线中轴M划分，设直线y＝kx+m在双曲线内部任一点为Q_n，每个位置横轴N长度为直线y＝kx+m任一点Q_n平行于x轴交双曲线上点P_n到该任一点Q_n的距离的二倍值，即N＝2|Q_n P_n|；由此，求得该对称卵形曲线的中轴M长度与各横轴N长度；

再次，控制工业机械臂末端环形工件夹具做多组连续的空间小幅度非正交试探运动，对多次试探运动捕获的帧序列进行累积差分计算，设K为时间节点，img_K与img_K+1对应时间K与K+1节点下图像全域像素，将img_K与img_K+1相减得到帧差分图像Δimg_K，设两帧间单像素灰度变化均值Δimg_avg为自适应阈值，Δimg_avg定义为：

若帧差分图像中某像素点d(i,j)灰度值大于Δimg_avg，则确定d(i,j)为运动像素点；依次将多幅帧差分图像赋权a_k，构成累积差分图像：

其中，权重a_k取值取决于当前帧差分图像距离首帧的时序远近；在累积差分图像Δimg_cum中，多帧图像间红色指示激光器投射光斑成像差异区域被分别赋权标识，基于单帧红色指示激光器投射光斑拟合所得几何参数，可有效辨识动态被调制过程中的红色指示激光器投射光斑变形参数；同时，据激光光学先验知识，激光光斑灰度重心在动态调制过程中具有一定平移不变性及旋转不变性，则多帧图像中已识别的红色指示激光器投射光斑灰度重心差分为：

整合差分信息构建图像雅克比矩阵具体过程为：设为图像特征参数微分变化量，为笛卡尔空间运动微分变换量，J(r)是从笛卡尔空间运动微分空间到图像特征参数微分空间的映射变换，则有图像雅可比矩阵：

使得微分映射关系式成立，其中，m对应微分特征数量，n为任务间维数；在时序可控的试探性动态调制过程中，帧间差分即为微分，则邻帧img_K与img_K+1间红色指示激光器投射光斑几何变形参数、红色指示激光器投射光斑灰度重心差分信息、光斑-夹具边缘间距等差分信息可视为图像特征微分变化量；同时，工业机械臂末端环形工件夹具多次试探运动下的形位变换阵可由工业机械臂控制系统计算并读取，然后基于试探动作时序求解形位变换速度阵，即对形位变换阵微分化，进而统一将图像特征微分变化量与形位变换速度阵代入微分映射关系式解得图像雅克比矩阵J_r(r)，此即动作-图像调制被调制映射矩阵；

然后，对绿色刻蚀激光器出射激光的焦平面进行寻焦再定位，结合上步已解算映射关系，将工业机械臂末端环形工件夹具上端面机动至与世界坐标系XOY面近似平行的位置，并且单目工业相机在当前有效视场内可捕捉到红色指示激光器投射目标光斑；为便于图像层面的光斑亮度判别，基于步骤五所得红色指示激光器投射光斑像素集合Ω_L，将目标光斑基于亮度转换公式计算得到对应亮度值Y：

Y＝0.299×R+0.587×G+0.114×B(36)

进而，在环形工件夹具上端面保持绝对水平的条件下，以亮度值Y数值变换趋势突变为折返信号，驱动工业机械臂做世界坐标系下Z向多步简谐运动，直到目标红色指示激光器投射光斑半径最小且亮度最高，则当前环形工件夹具上端面距离激光出光口的距离为红色指示激光器出射激光的焦距，最后结合绿色刻蚀激光器出射激光与红色指示激光器出射激光的焦距比值换算得到绿色刻蚀激光器出射激光真实焦平面的相对位置；

最后，基于所得动作-图像映射关系及激光焦平面位置，结合CAM工艺规划的加工起始点，进行最终定位对刀；对刀方法过程为：先基于动作-图像映射关系，调整工业机械臂末端环形工件夹具空间位姿，使红色指示激光器投射光束以相对垂直姿态对准环形工件夹具上端面；再调整环形工件夹具空间z向位置，直到光斑呈半径最小、最逼近圆形的形状；最后，基于CAM工艺规划的加工起始点位置，结合目标工件毛坯件及环形工件夹具几何模型，给定起始点处理想光斑成像信息，分析其与当前光斑成像差异，进而计算对应运动信息，以步骤五已提取的环形工件夹具边缘像素点集Ω_F为运动基准，执行机动，将红色指示激光器投射光斑移动至对应加工起始点，实现定位对刀。