[发明专利]基于手势识别控制机械臂进行叶片装配的方法及系统

说明书

本发明涉及工业智能控制的技术领域，具体是涉及一种基于手势识别控制机械臂进行叶片装配的方法及系统，包括以下步骤：识别手势信息，根据指令数据库对比手势信息包含的指令。基于根据指令数据库对比手势信息包含的指令，下达对应的控制指令。控制深度相机并通过视觉引导方法确定目标叶片的位置坐标。根据控制指令控制机械臂在位置坐标处抓取目标叶片并对目标叶片进行装配。该方法和系统将手势识别技术与智能机械臂控制技术完美结合，简化机械臂的操作步骤，降低机械臂的控制难度，使机械臂控制更加精准灵活，增强了机械臂对工作环境的适应能力，在实现手势动作与机械臂控制完全同步的基础上满足机械臂完成作业时实时控制的需要。

技术领域

本发明涉及工业智能控制的技术领域，特别是涉及一种基于手势识别控制机械臂进行叶片装配的方法及系统。

背景技术

智能制造目前已经深入到工作生活的各个方面，在各个领域得到了越来越广泛的应用，对传统工作方式的改变发挥越来越重的作用，成为生产现代化不可替代的至关重要的环节。机械臂设备是一种广泛应用的自动化机械装置，在工业制造、医学治疗、娱乐服务、军事、半导体制造以及太空探索领域都得到了应用。

手势包含着大量信息，以直观、形象、生动等特点在日常生活中被广泛使用，是人们最自然和最直观的交流方式，能在特定的场合表达特定的意义。现在手势识别成为像点击鼠标一样的人机交互信息的重要手段，手势识别在人机交互控制领域扮演着越来越重要的角色。

但是传统的机械臂完成预期的各种任务作业，要么是执行根据特定工作场合实现特定功能的任务作业而事先编写好的程序，其适应环境能力差，灵活性不强；要么是通过计算机端和控制台按钮进行组合操作，操作起来比较复杂，必须进行精确控制、安全操作，在一定程度上限制了机械臂的推广。

发明内容

基于此，有必要针对上述技术问题，提供一种操作步骤简单、控制难度较低且具有较强工作环境适应能力的基于手势识别控制机械臂进行叶片装配的方法及系统。

一种基于手势识别控制机械臂进行叶片装配的方法，所述方法包括：

识别手势信息，根据指令数据库对比所述手势信息包含的指令；

基于所述根据所述指令数据库对比所述手势信息包含的指令，下达对应的控制指令；

控制深度相机并通过视觉引导方法确定目标叶片的位置坐标；

根据所述控制指令控制机械臂在所述位置坐标处抓取所述目标叶片并对所述目标叶片进行装配。

进一步的，所述识别手势信息，根据指令数据库对比所述手势信息包含的指令，之前包括：

建立指令数据库。

进一步的，所述建立指令数据库，包括：

预设出不同的指令以对应所述机械臂不同的动作、位置以及状态；

控制相机设备获取手势图像；

采集所述手势图像并对所述手势图像进行识别，得到手势信息；

确定所述手势信息和所述机械臂不同的动作、位置以及状态的映射关系。

进一步的，所述下达对应的控制指令，包括：

根据所述映射关系调用对应的控制指令。

进一步的，所述控制深度相机并通过视觉引导方法确定目标叶片的位置坐标，包括：

控制所述深度相机对目标位置进行拍照；

获取所述目标位置的深度图像和彩色图像；

对所述深度图像和彩色图像的数据进行预处理；

读取所述目标位置的像素坐标；