[发明专利]一种基于机器视觉的工业机器人示教系统及方法

权利要求书

1.一种基于机器视觉的工业机器人示教方法，利用工业机器人示教系统实现，其特征在于，所述示教系统包括图像传感器、标志物、安装有机器人示教模块的电脑、机器人控制器、机器人，所述的图像传感器与安装有机器人示教模块的电脑相连，用于获得人手在机器人示教过程中的图像，通过粒子滤波算法跟踪示教过程中手部在图像中的位置，获取手部图像的ROI区域；所述标志物被安放在示教者的手背上，用于确定目标特征点在三维物体坐标和二维图像坐标之间的对应关系；所述电脑通过图像处理和P4P位姿估计获得标志物和人手掌在相机坐标系下的位置和姿态、估计示教者食指3个关节的角度，并得到指尖和手掌的位姿关系；所述电脑同时通过以太网与机器人控制器通信相连，控制机器人重复人手演示的路径，实现机器人的示教再现；所述示教方法包括步骤：

S1、图像中手部的位置获取，通过图像传感器获得示教者的人手在工作空间内的机器人示教过程中的图像，并通过粒子滤波算法跟踪示教过程中手部在图像中的位置，获取手部图像的ROI区域；

S2、测量手掌的位姿，利用所述标志物来确定目标特征点在三维物体坐标和二维图像坐标之间的对应关系，再利用基于Dogleg优化的P4P算法得到手掌在相机坐标系下的位置和姿态；

S3、在已知手掌位姿的情况下，通过指尖和手掌的位姿关系获得指尖的位置和姿态；所述指尖和手掌的位姿关系的获取包括步骤：

S31、通过OpenGL建立一个能根据输入的手指关节参数变化的三维模型；

S32、使用基于模型的粒子群优化算法估计手指关节角度得到指尖和手掌的位姿关系；具体包括：

S321、对示教者在进行示教之前所获得的手指图像进行处理得到3段食指的外轮廓；

S322、所述三维模型根据不同的手指关节参数生成若干OpenGL图像；

S323、选择其中一张OpenGL图像进行处理得到3段食指的外轮廓；

S324、将步骤S321中得到的3段食指的外轮廓的曲线与S323得到的3段食指的外轮廓的曲线进行相似度估计，若匹配，则根据所选OpenGL图像所对应的手指关节参数得到指尖和手掌的位姿关系，否则，选择另一张OpenGL图像并返回步骤S323；所述进行相似度估计的步骤是采用曲线曲率积分作为曲线的特征并用快速归一化互相关系数来测量两个特征之间的距离，具体包括步骤：

S331、分别计算两条曲线上各点p_i处的曲率，

已知曲线l的表达式为y＝f(x)，点p_k为x＝k时曲线上的点；

S332、分别计算两条曲线上点p_k处的曲率积分，其公式为：

S333、分别设定两条曲线的曲率积分为g₁(k)和g₂(k)，得到相似度函数：

S334、将相似度函数的值与设定阈值进行比较，根据比较的结果完成相似度估计；

S4、把指尖的位置和姿态信息转换到机器人基坐标系下，并离散记录连续示教路径中的示教点的位姿，然后通过中值滤波器处理得到平滑的示教路径传输至机器人控制器实现机器人的示教再现。

2.根据权利要求1所述的一种基于机器视觉的工业机器人示教方法，其特征在于所述的图像传感器采用Kinect图像传感器，用于获取手部的图像、通过粒子滤波算法跟踪示教过程中手部在图像中的位置，获取手部图像的ROI区域。

3.根据权利要求1所述的一种基于机器视觉的工业机器人示教方法，其特征在于所述标志物包括四个相同直径且不同颜色的圆形标志，四个圆形标志的圆心位于设定边长的正方形的4个顶点上，所述圆形标志的直径和所述正方形的边长根据图像传感器的视场按比例调节。

4.根据权利要求3所述的一种基于机器视觉的工业机器人示教方法，其特征在于：所述圆形标志的直径为10mm；颜色分别为红、黄、绿、紫四种颜色；所述正方形的边长为30mm。

5.根据权利要求1所述的一种基于机器视觉的工业机器人示教方法，其特征在于，所述手指关节参数包括3个食指关节的夹角、3个拇指关节的夹角、以及手掌的6个空间自由度。

6.根据权利要求1所述的一种基于机器视觉的工业机器人示教方法，其特征在于，所述手指图像及OpenGL图像进行处理的过程具体包括步骤：

S341、对图像进行二值化处理；

S342、对二值化处理后的图像进行轮廓提取；

S343、提取手指外轮廓；

S344、对手指外轮廓分段拟合。