[发明专利]基于3D视觉的智能机器人抓取方法

权利要求书

1.一种基于3D视觉的智能机器人抓取方法，其特征在于，包括：

步骤1，完成智能抓取系统的手眼标定；

步骤2，完成基于卷积神经网络的抓取规划模型的训练；

步骤3，完成智能智能机器人在真实环境下的抓取。

2.根据权利要求1所述的基于3D视觉的智能机器人抓取方法，其特征在于，所述步骤1的流程具体包括：

搭建所述智能抓取系统，所述智能抓取系统包括Kinect-2.0、YuMi机器人及计算机；所述Kinect-2.0用于作为视觉传感器采集3D视觉数据，所述计算机与所述Kinect-2.0、所述YuMi连接，以完成抓取规划模型训练，并控制所述YuMi机器人实现抓取；

所述Kinect-2.0利用3D相机获取待抓取目标三维6DOF的姿态点云数据；

采用眼在手外的手眼标定方式；

对所述待抓取目标三维6DOF的姿态点云数据进行标定，完成3D相机与所述YuMi机器人的数据互联，以得到相机坐标系和机器人坐标系的参数转换。

3.根据权利要求2所述的基于3D视觉的智能机器人抓取方法，其特征在于，所述采用眼在手外的手眼标定方式，包括以下步骤：

标定3D相机的深度图像坐标系与红外相机坐标系求解齐次变化矩阵；

将标定板放在固定位置，读取标定板角点在深度图像中的坐标并将其转换为红外坐标系下坐标记录数据；

控制机器人手臂移动至该坐标记录数据在机器人坐标系之下XYZ；

反复上述流程采集多组公共点数据，使用迭代最近点算法求解出三维坐标系旋转偏移矩阵；

利用前面得到的相机参数完成抓取目标三维点云数据的配准。

4.根据权利要求3所述的基于3D视觉的智能机器人抓取方法，其特征在于，深度图像坐标系与红外坐标系的关系为：

其中，O_dX_dY_dZ_d坐标系表示红外相机坐标系，O_oU_dV_d坐标系表示深度图像坐标系，O₁XY为红外相机成像平面坐标系，其X轴与U_d轴平行，Y轴与V_d平行，原点O₁的坐标为坐标系O_dX_dY_dZ_d坐标原点是红外相机的光心；

其中，P(u_d,v_d)为深度图像坐标系上一点，在红外坐标系相对应的点为P(x_d,y_d,z_d)，f_x与f_y表示红外相机的焦距，与表示图像坐标系的中心点坐标。

5.根据权利要求3所述的基于3D视觉的智能机器人抓取方法，其特征在于，机器人坐标系与3D相机的深度坐标系的转换模型为：

其中，[X_R Y_R Z_R]表示YuMi机器人坐标系的点坐标，[X_K Y_K Z_K]为3D相机的深度坐标系，λ为两个坐标系尺度比例因子，为坐标系平移增量。

6.根据权利要求2所述的基于3D视觉的智能机器人抓取方法，其特征在于，所述步骤2的流程，包括：

对深度图像数据进行预处理操作去除采集过程中产生的噪声；

将预处理后的点云数据输入到全卷积网络FCN中，完成3D物体识别，并得到初步的候选抓取区域坐标；

基于深度强化学习的C空间自主路径规划及实时避障；

将前面生成的候选抓取区域坐标和C空间路径在仿真环境下依据深度强化学习DQN理论进行循环试错运行，直到抓取策略足够稳定后，将深度强化学习训练后的抓取策略输出。