[发明专利]基于Kinect的手势与轨迹远程控制机器人系统

说明书

本发明公开了一种基于Kinect的手势与轨迹远程控制机器人系统，属于机器人控制技术领域。本发明通过Kinect深度摄像头实时采集目标人员的深度图与彩色图来感知目标人员动作，在彩色图中使用Kinect SDK识别出目标人员的人体骨骼模型，并据此分割出右手手掌，在深度图中利用手部二维坐标信息得到手掌深度信息，从而生成手部三维坐标，输出三维偏移量。此外，对于分割出来的手掌进行轮廓提取，使用凸包算法求出凸包集，连结凸包集生成多边形拟合曲线，再通过与原手部轮廓的对比生成凹陷集，根据几何方法，判断识别手势，得到对应指令。将三维偏移量坐标与手势控制指令通过TCP通信传递给机器人，控制机器人完成相应指令，与目标人员手势轨迹同步。

技术领域

本发明属于机器人控制方法，具体涉及一种基于Kinect的手势与轨迹远程控制技术。

背景技术

随着工业机器人的普及，某些特定场景下机器人操作的安全性、实时性以及简易性成为了需要解决的新问题。传统的机器人一般通过有线设备控制，而物理接线的长度有限且不易变更，操作人员在例如：加热炉边，高楼边等场景下使用机器人进行工作，便会产生安全隐患，增加公司的安全成本。此外，操作人员通常需要随时携带控制设备端才能操控机器人，且机器人功能操作界面通常繁琐复杂，不利于人机实时交流：例如机器人动作的临时变更、细微调节等。

伴随着计算机设备己经深入涉及到社会生活中的各个方面，其利用计算机进行视觉和数字图像处理技术也日趋成熟，在各个尖端的技术邻域中早己展露锋芒。计算机视觉的目的是分析、研究让计算机智能化的达到类似人类的双眼“看”的一门研究科学。计算机视觉技术就是利用了摄像机以及电脑替代人眼使得计算机拥有人类的双眼所具有的分割、分类、识别、跟踪、判别决策等功能。计算机视觉系统就是创建了能够在的平面图像或者的三维立体图像的数据中，以获取所需要的“信息”的一个完整的人工智能系统。

计算机视觉技术(CV)是一门包括了计算机科学与工程、神经生理学、物理学、信号处理、认知科学、应用数学与统计等多门科学学科的综合性科学技术。由于计算视觉技术系统在基于高性能的计算机的基础上，其能够快速的获取大量的数据信息并且基于智能算法能够快速的进行处理信息，也易于同设计信息和加工控制信息集成。

Kinect摄像头并不是仅仅局限于图像信息的传输以及显示，而是完完全全的展现了人机互动的理念，它的实质是一款的体感摄影机，其导入了即时动态捕捉、影像辨识、等多种功能展现了智能性，可以通过分析所获得的图像信息，就能得到对于空间，视觉上非常有用的信息：从而可以给人们带来除了平面的中上下、左右的信息以外还可以得到前后的透视信息，从而得到的场景和物体的信息，对于计算机视觉技术和人工智能都会有很大的帮助：简而言之，Kinect的本质是三维空间中能够捕捉到人们的运动状态的智能摄像头。

Kinect的具体工作过程就是，借助了PrimeSense软件以及摄像头去侦测，然后捕捉到视频图像中的手势动作，接着将其和获得的影像信息和本身内部所事先存储的人体模型的信息进行比较对照，在一定比例上，符合内部的人体模型的视频中的物体就被识别成人体的相关骨路的模型，并告知系统的控制端，由模拟的物体识别成计算机系统可识别的数字模型转换成某个虚拟的角色，当识别到人体骨路模型的关键部位从而进行动作的触发。由于在图像识别和智能控制系统的帮助下，从而制造出的虚拟骨路模型，这样就可以帮助系统识别出人体的关键部位。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种基于Kinect的手势与轨迹远程控制机器人系统，实现对机器人的远程控制，简化机器人操作以及保障在特定场景下机器人工作的安全性。

本发明的基于Kinect的手势与轨迹远程控制机器人系统，包括主控系统、图像采集模块和机器人控制模块：

其中，主控系统，用于协调控制所有工作(根据图像采集模块的输入图像数据进行手势指令的识别，计算出三维偏移量信息，再进一步通过机器人控制模块控制机械臂的运动轨迹、运动状态等)，优选为搭载性能较好GPU的PC机；