[发明专利]基于单目相机与机器人的混合机立式桨叶姿态检测方法

摘要

本发明涉及一种基于单目相机与机器人的混合机立式桨叶姿态检测方法，该方法首先获取机器人与单目相机之间的手眼标定关系，通过调整机器人来调整单目相机到达合适位置，利用单目相机采集混合机桨叶图像后，对其进行图像处理及特征提取，通过单目相机成像原理及相关几何关系可解得立式混合机桨叶与相机之间的角度关系，进而利用标定好的相机与机器人手眼关系解得桨叶在机器人基坐标系中的自转角度，即得到桨叶姿态。

主权项

1.一种基于单目相机与机器人的混合机立式桨叶姿态检测方法，其特征在于步骤如下：/n步骤1：定义单目相机图像像素坐标系为O_pixX_pixY_pix，单目相机安装于机器人末端，使用棋盘格标定板进行单目相机内参数标定，求解其内参矩阵，具体如下：/n1a.将棋盘格标定板放置于相机视野中，不断变换标定板姿态，采集标定板图像；/n1b.对图像进行处理，采用“张正友标定法”计算得到单目相机内参矩阵K，其中，f为单目相机焦距，dx与dy为单目相机单个感光单元芯片的长度与宽度，(u₀,v₀)为单目相机光轴与成像平面的交点在图像像素坐标系中的像素坐标；/n步骤2：定义机器人基坐标系为O_RX_RY_RZ_R，机器人法兰坐标系为O_FX_FY_FZ_F，单目相机坐标系为O_CX_CY_CZ_C，利用手眼标定方法，标定单目相机坐标系与法兰坐标系之间的坐标转换矩阵T_cf；/n步骤3：定义单目相机检测时的合适位置为相机坐标系X_CO_CY_C平面和Y_C轴与机器人基坐标系Z_R轴平行，依据步骤2所得T_cf，计算相机到达合适位置时，机器人所需的姿态变换矩阵，通过调整机器人将单目相机调整至该位置；/n步骤4：经步骤3后单目相机位置已调整至合适位置，利用单目相机采集一张桨叶图像，按照以下步骤对其进行滤波除噪及边缘检测、特征提取：/n4a.采用Canny边缘检测算法对图像进行边缘检测，提取所测桨叶自转轴的双边边缘像素坐标，分别记录为像素坐标点集{x_pix1,y_pix1},{x_pix2,y_pix2}；/n4b.提取桨叶单侧特征肩点像素坐标，记录为(x_pix3,y_pix3)；/n步骤5：计算桨叶图像中，桨叶自转轴双边边缘之间的像素距离Δx₁以及桨叶自转轴中心轴线与桨叶单侧特征肩点的像素距离Δx₂，步骤如下：/n5a.由单目相机成像原理可知，桨叶自转轴在图像上成像时，成为其边缘轮廓的母线有两条，两条母线所对应的角度为θ₁与θ₂，由桨叶自转轴在空间中的位置和半径R，可解出θ₁与θ₂；/n5b.通过最小二乘法对步骤4中得到的像素坐标点集{x_pix1,y_pix1},{x_pix2,y_pix2}进行拟合，得到桨叶图像中桨叶自转轴双边边缘在图像像素坐标系中的直线方程l₁与l₂,进而计算得到桨叶自转轴双边边缘之间的像素距离Δx₁，单位为像素；/n5c.由步骤5b中得到的桨叶自转轴双边边缘在图像像素坐标系中的直线方程l₁与l₂以及步骤4中得到的桨叶单侧特征肩点像素坐标(x_pix3,y_pix3)，可得桨叶图像中桨叶特征肩点与其最接近的桨叶自转轴边缘之间的像素距离Δx₂′，单位为像素；/n5d.定义桨叶自转轴中心轴线在成像平面上的投影直线与桨叶两条母线在成像平面上的投影直线的距离分别为d₁和d₂，定义i为d₁与d₂的比值，则由单目相机成像原理，i＝d₁/d₂＝-cosθ₂/cosθ₁，所以在图像中，桨叶自转轴中心轴线距离桨叶自转轴双边边缘的像素距离分别为Δx₁/(i+1),iΔx₁/(i+1),由步骤c得到的Δx₂′，可解得图像中桨叶自转轴中心轴线与桨叶单侧特征肩点的像素距离Δx₂，Δx₂＝Δx₂′+Δx₁/(i+1)，单位为像素；/n步骤6：测量得到桨叶两特征肩点之间的距离L，进而计算桨叶自转轴中心轴线与桨叶特征肩点的距离L′，L′＝L/2；/n步骤7：定义桨叶两特征肩点连线与相机坐标系X_CO_CY_C平面之间的夹角为桨叶在相机坐标系下的自转角度θ′，按照以下步骤计算θ′：/n7a.定义m为桨叶自转轴双边轮廓线在成像平面上的投影之间的距离，其与步骤5中桨叶自转轴双边边缘之间的像素距离Δx₁对应，n为桨叶自转轴中心轴线与桨叶特征肩点在成像平面上的投影之间的距离，其与步骤5中桨叶自转轴中心轴线与桨叶单侧特征肩点的像素距离Δx₂对应，由单目相机成像原理，m/n＝Δx₁/Δx₂；/n7b.定义γ为相机光心与桨叶特征肩点两点连线和相机光轴之间的夹角，定义D₁＝R/cos(π-θ₁)，D₂＝R/cosθ₂以及T＝L′cosθ′-L′sinθ′tanγ，由相似三角形定理，m/n＝(D₁+D₂)/T；/n7c.由单目相机成像原理，tanγ＝(u₀-x_pix3)d_x/f，f/d_x，u₀由步骤1得到，x_pix3由步骤5得到；/n7d.结合步骤7a和7b，可得Δx₁/Δx₂＝(D₁+D₂)/T＝(R/(-cosθ₁)+R/(cosθ₂))/(L′cosθ′-L′sinθ′tanγ)，式中，Δx₁和Δx₂由步骤5得到，桨叶自转轴半径R已知，桨叶自转轴中心轴线与桨叶特征肩点的距离L′由步骤6得到，将步骤c中得到的tanγ代入，经过简单三角函数运算最终解得唯一未知数θ′；/n步骤8：定义桨叶两特征肩点连线与机器人基坐标系X_RO_RZ_R平面之间的夹角为桨叶在机器人基坐标系下的自转角度θ，按照以下步骤计算θ：/n8a.由步骤2得到单目相机坐标系与机器人法兰坐标系之间的坐标转换矩阵T_cf，由机器人示教器读出当前法兰坐标系与机器人基坐标系的转换矩阵T_fr，可解得当前单目相机坐标系与机器人基坐标系之间的坐标转换矩阵为T_cr，T_cr＝T_cfT_fr；/n8b.T_cr可表示为[r₁ r₂ r₃ t]，其中，r₁，r₂，r₃为旋转向量，t为平移向量，由当前相机与机器人的位置关系及坐标系旋转变换原则可得，r₁＝[-cosα 0 sinα 0]^T，其中，α为机器人基坐标系X_R轴与相机坐标系X_C轴之间的夹角，由反三角函数可解得α；/n8c.由各坐标系位置关系得，θ＝α+θ′，其中，θ′由步骤7得到，α由步骤8b得到，最终解得桨叶在机器人基坐标系下的自转角度θ，即解得桨叶姿态信息。/n