[发明专利]一种三维视觉引导机械手抓取的方法及系统

权利要求书

1.一种三维视觉引导机械手抓取方法，其特征在于，包括以下步骤：

A、搭建Eye-To-Hand三维视觉引导系统；

B、控制机械手取标定点位，保持标定板固定不动，用三维视觉模组对其进行扫描，利用扫描模块和机械手获取到的标定点信息进行手眼标定；

C、用三扫描模块扫描工作区内的待抓取物体，用手眼标定信息将扫描模块坐标系下的物体点云转换到机械手坐标系下；

D、处理三维扫描点云，得到待抓取物体的位置和姿态信息；

E、将待抓取物体的位置和姿态信息发送给机械手，使机械手完成物体的抓取。

2.根据权利要求1所述的三维视觉引导机械手抓取方法，其特征在于，所述步骤A具体为：在工作平台及环境固定的情况下，机器人基座不发生运动，在与机械手基座相对固定的位置安装扫描模块。

3.根据权利要求1所述的三维视觉引导机械手抓取方法，其特征在于，所述步骤B具体为：控制机械手取标定点位，保持标定板固定不动，用扫描模块对其进行扫描，利用扫描模块和机械手获取到的标定点信息进行手眼标定；每次机械手取标定点位要得到机器人基坐标系下末端坐标系的位姿以及在相机坐标系下标定板坐标系的位姿，取到的标定点信息；通过机械手取标定点坐标然后求解出机械手相对于标定板的位姿转换矩阵，从而计算出机械手相对于摄像机的位姿转换矩阵，完成手眼标定。

4.根据权利要求1所述的三维视觉引导机械手抓取方法，其特征在于，所述步骤C具体为：扫描模块扫描工作区内的待抓取物体，用手眼标定得到的转换矩阵，将扫描模块坐标系下的物体点(X_i，Y_i，Z_i)(i∈[0，N])转换到机械手坐标系下。

5.根据权利要求1所述的三维视觉引导机械手抓取方法，其特征在于，所述步骤D具体为：要对目标物体进行抓取操作，对物体进行位姿估计，采用的是基于模板匹配的方法对物体进行位姿估计，匹配前先用一个模板生成一个模型，对实时三维扫描的点云进行模板匹配，得到待抓取物体的位置和姿态信息。

6.根据权利要求1所述的三维视觉引导机械手抓取方法，其特征在于，三维视觉引导机械手抓取系统包括：扫描模块、手眼标定模块、物体识别算法模块、通信模块和工业机械手；

所述扫描模块，用于将编码光栅结构光投射到目标物体表面，利用拍摄的光栅编码物体图像，解析得到物体的三维点云；

所述手眼标定模块，标定涉及工具坐标系、机械手基座坐标系、扫描模块坐标系和标定板坐标系四个坐标系，通过标定板坐标系，获取扫描模块与机械手之间的空间关系，使得机械手模块可以利用扫描模块所获取的三维物体信息；

所述物体识别算法模块，用于利用扫描模块得到的物体三维点云数据信息，对其进行三维位姿计算；采用基于模板匹配的方法对物体进行位姿估计，对实时三维扫描的点云进行模板匹配，从而计算得到目标抓取物在机械手基础坐标系下的三维位置和姿态分析计算得到目标抓取物的位置和姿态；

所述通信模块，用于机械手和工控机之间的实时网络通讯，使工控机分析处理扫描模块获得的信息后，给机械手模块发送控制抓取的三维位姿信息；机械手完成抓取后，通过网络通信告知工控机其位置信息，或通知工控机继续进行工作区内的扫描；

所述工业机械手，用于接收工控机抓取信息，对目标物体执行抓取操作。

7.根据权利要求6所述的三维视觉引导机械手抓取系统，其特征在于，所述扫描模块为三维视觉模组装置，所述三维视觉模组装置为双目立体相机，所述机械手为六自由度工业机械手，安装时三维视觉模组装置在空间中固定，所述机械手跟三维视觉模组装置的相对位置保持不变。

8.据权利要求6所述的三维视觉引导机械手抓取系统，其特征在于，所述系统使用前进行的手眼标定，计算摄像机标定获取摄像机相对于标定板的位姿转换矩阵，以及机械手相对于同一个标定板自定义的参考坐标系的位姿转换矩阵，从而计算出机械手相对于摄像机的位姿转换矩阵。

9.根据权利要求6所述的三维视觉引导机械手抓取系统，其特征在于，所述编码光栅结构光由DLP扫描模组输出，针对同一目标物体，扫描模组输出至少两种不同频率的编码光栅结构光。