[发明专利]基于手势识别控制机械臂进行叶片装配的方法及系统

权利要求书

1.一种基于手势识别控制机械臂进行叶片装配的方法，其特征在于，所述方法包括：

识别手势信息，根据指令数据库对比所述手势信息包含的指令；

基于所述根据所述指令数据库对比所述手势信息包含的指令，下达对应的控制指令；

控制深度相机并通过视觉引导方法确定目标叶片的位置坐标；

根据所述控制指令控制机械臂在所述位置坐标处抓取所述目标叶片并对所述目标叶片进行装配。

2.根据权利要求1所述的方法，其特征在于，所述识别手势信息，根据指令数据库对比所述手势信息包含的指令，之前包括：

建立指令数据库。

3.根据权利要求2所述的方法，其特征在于，所述建立指令数据库，包括：

预设出不同的指令以对应所述机械臂不同的动作、位置以及状态；

控制相机设备获取手势图像；

采集所述手势图像并对所述手势图像进行识别，得到手势信息；

确定所述手势信息和所述机械臂不同的动作、位置以及状态的映射关系。

4.根据权利要求3所述的方法，其特征在于，所述下达对应的控制指令，包括：

根据所述映射关系调用对应的控制指令。

5.根据权利要求1所述的方法，其特征在于，所述控制深度相机并通过视觉引导方法确定目标叶片的位置坐标，包括：

控制所述深度相机对目标位置进行拍照；

获取所述目标位置的深度图像和彩色图像；

对所述深度图像和彩色图像的数据进行预处理；

读取所述目标位置的像素坐标；

读取所述像素坐标在所述深度图像与所述彩色图像的深度值，得到所述目标位置的像素三维坐标。

6.根据权利要求5所述的方法，其特征在于，所述根据所述控制指令控制机械臂在所述位置坐标处抓取所述目标叶片并对所述目标叶片进行装配，包括：

根据所述控制指令控制所述机械臂根据所述像素三维坐标对位于所述目标位置的目标叶片进行抓取和装配。

7.根据权利要求6所述的方法，其特征在于，所述根据所述控制指令控制所述机械臂根据所述像素三维坐标对位于所述目标位置的目标叶片进行抓取和装配，包括：

所述机械臂通过机械臂逆运动学求解出来的关节转角确定所述机械臂的目标姿态，并经过末端执行器的运动促使所述机械臂到达所述目标位置；

所述关节转角根据所述机械臂关节的变换矩阵、机械臂的位姿及D-H参数求解得到，并利用编译的驱动代码实现所述机械臂到达所述目标位置。

8.一种基于手势识别控制机械臂进行叶片装配的系统，其特征在于，包括：

手势识别模块，用于识别通过相机设备获取的手势信息，并调用与所述手势信息相匹配的控制指令；

视觉模块，用于对通过深度相机获取的深度图像和彩色图像进行图像预处理，将预处理后的图像进行特征匹配以获取目标叶片的位置坐标；

机械臂控制模块，用于接收并根据所述手势识别模块发出的控制指令，控制驱动机械臂运动，同时根据所述视觉模块获取的位置坐标对所述目标叶片进行定位并控制所述机械臂进行作业。

9.根据权利要求8所述的基于手势识别控制机械臂进行叶片装配的系统，其特征在于，所述机械臂控制模块包括夹爪控制模块，所述夹爪控制模块用于控制所述机械臂夹爪所述目标叶片并对所述目标叶片进行装配。