[发明专利]基于Kinect的手势与轨迹远程控制机器人系统

权利要求书

1.基于Kinect的手势与轨迹远程控制机器人系统，其特征在于，包括主控系统、图像采集模块和机器人控制模块：

其中，图像采集模块，通过TCP与主控系统实时通信，通过Kinect深度摄像头实时采集目标人员的彩色图以及深度图，并将采集到的图像数据实时传输给主控系统；

主控系统包括人机交互模块，手势识别模块和轨迹检测模块；

所述人机交互模块包括主控系统工作状态的实时显示，机器人工作状态的实时显示和机器人控制模块与主控的TCP通信；

所述手势识别模块基于图像采集模块传输的图像数据，进行手势控制指令的识别处理；

所述轨迹检测模块用于人体骨骼模型的实时显示，手部二维坐标信息以及对应得到的三维坐标信息和本次轨迹偏移量信息的计算处理；

机器人控制模块，包括机械臂，并通过TCP与主控系统实时通信；

主控系统将三维深度偏移坐标转换为机器人工具坐标，以及手势识别的指令结果一并通过TCP传递给机器人控制模块，用于控制机械臂同步目标人员的动作以及执行相关自定义指令；

所述手势识别模块根据多边形拟合曲线和手部轮廓比较得出凹陷集，并查找手势的几何特征，完成手势识别；

其中，多边形拟合曲线由凸包集合连结而成，包括：

(1)找到所有点中纵坐标y最小的点；

(2)计算其余点与该点的连线与x轴之间夹角的余弦值，将这些点按其对于最低点的余弦值从大到小排序；

(3)根据三点向量是否是逆时针转动原则依次遍历所有点，将符合逆时针转动原则的点按顺序放入集合；

(4)顺次连结集合中的点得到多边形拟合曲线；

其中，凹陷集通过对比凸包集和手掌轮廓得出，包含所有轮廓的凸型缺陷，一个凸型缺陷结构体包括4个元素，缺陷起点坐标，缺陷终点坐标，缺陷中离凸包线距离最远的点的坐标，以及此时最远的距离；

其中，手势识别所使采用的几何算法为：

在手部定位出2个中心点坐标，这2个中心点坐标之间的距离阈值为预设值，其中一个中心点是利用Kinect跟踪得到的手部骨骼点位置，另一个是凸包重心点；

根据这2个中心点的坐标，分别计算出在这2个中心点坐标上的凸凹点的个数；

利用求出的4种点：凹陷集，凸包集，手部中心点和凸包重心点的几何关系进行初步手势判别。

2.如权利要求1所述的系统，其特征在于，主控系统存储最近T次采集的目标人员手势的三维坐标信息，其中T为预设值。

3.如权利要求1所述的系统，其特征在于，机器人若碰到障碍物保护性停止，则机器人控制模块通过TCP通信向主控系统传回意外停止信息，从而使得主控系统获取上一次的起点位置信息，使得机器人回复到本段运动轨迹的起点位置。