[发明专利]一种基于指尖识别和手部运动跟踪的机器人演示编程方法

说明书

本发明公开了一种基于指尖识别和手部运动跟踪的机器人演示编程方法，涉及机器学习技术领域，包括如下步骤：步骤1：完成演示编程系统的硬件环境搭建，并人手演示完成示教任务；步骤2：通过机器视觉识别人手在示教过程中的位置和姿态，通过坐标变换计算其在机器人坐标系下的示教运动轨迹，并利用粒子滤波算法完成示教路径的平滑；步骤3：通过机器视觉识别人的手势，根据手势进行不同动作的规划或者指示演示过程的结束与开始；步骤4：机器人通过重复利用视觉识别得到的示教路径和人的手势，以相同的姿态完成示教任务。本发明为工业机器人的示教提供了一种简单高效的方法，降低了工业机器人的使用门槛，大大提高了编程效率。

技术领域

本发明涉及机器学习领域，尤其是涉及一种基于指尖识别和手部运动跟踪的机器人演示编程方法。

背景技术

目前在世界各地的工厂中，工业机器人已经可以出色地完成日常操作任务，比如上下料、搬运、焊接、喷涂和打磨等。与工人相比，机器人具有精度高、出错率低和重复性强等优点，并且机器人可以在恶劣的环境中持续运行，因此，工业机器人正日益成为工业生产过程中不可或缺的部分。在工厂中，由于各个零件的初始位置和目标位置都已经确定，所以机器人可以既好又快地完成任务，但是一旦离开了设定好的环境，大多数的机器人就无法正常工作；此外，示教者操作工业机器人需具备一定的编程技能，这使得工人操作机器人存在一定的难度，阻碍了机器人在中小型企业中的应用。

发明人在研究中发现，现有技术的工业机器人编程方法以示教编程为主，示教编程虽具有编程门槛低、简单方便、不需要环境模型等优点，但是示教在线编程过程繁琐、效率低，精度完全是靠示教者的目测决定，而且对于复杂的路径示教在线编程难以取得令人满意的效果。另外，示教过程容易发生事故，轻则撞坏设备、重则撞伤人。

综上所述，为了降低工业机器人的使用门槛和提高编程效率，有必要提供新的基于指尖识别和手部运动跟踪的机器人演示编程方法。

发明内容

有鉴于此，有必要针对上述的问题，提供一种基于指尖识别和手部运动跟踪的机器人演示编程方法，通过人手演示完成示教任务并利用算法获取示教路径，机器视觉识别示教路径以完成示教任务，可以让机器人具有基于极少量的实验就学会新技能的能力，还可以在学习过程中保证安全，方便示教者增加新的任务，对于环境、任务及机器人自身的变化进行快速调整。

为实现上述目的，本发明是根据以下技术方案实现的：

一种基于指尖识别和手部运动跟踪的机器人演示编程方法，包括：

步骤1：完成演示编程系统的硬件环境搭建，并人手演示完成示教任务；

步骤2：通过机器视觉识别人手在示教过程中的位置和姿态，通过坐标变换计算其在机器人坐标系下的示教运动轨迹，并利用粒子滤波算法完成示教路径的平滑；

步骤3：通过机器视觉识别人的手势，根据手势进行不同动作的规划或者指示演示过程的结束与开始；

步骤4：机器人通过重复利用视觉识别得到的示教路径和人的手势，以相同的姿态完成示教任务。

进一步地，在步骤1中，所述硬件环境搭建包括：

搭建所述的演示编程系统，所述演示编程系统包括Kinect深度摄像机、一台ROS动力学特性的Ubantu16.04笔记本电脑、一台UR5机器人；

所述Kinect深度摄像机用于作为视觉传感器采集视觉数据；

所述笔记本电脑与所述Kinect摄像机、所述UR5机器人连接，以完成手指运动轨迹捕捉算法的训练。

进一步地，所述步骤2具体包括如下步骤：

步骤21：在获取示教者的手势图像后，采用基于肤色直方图的分割方法完成手指分割；