[发明专利]一种基于RGBD摄像头深度图像的机器人手势交互方法和装置

权利要求书

1.一种基于RGBD摄像头深度图像的机器人手势交互装置，其特征在于，包括预定义模块，数据获取模块，手部区域分割子模块，手势识别子模块，机器人控制模块和反馈模块；预定义模块包括手势类型子模块和映射子模块；手部区域分割子模块和手势识别子模块构成了静态手势识别模块；

用户在摄像头前做出某手势动作，数据获取模块通过RGBD摄像头采集用户的骨骼点和深度图像等数据，并用USB传输给手部区域分割子模块，手部区域分割子模块从获取的骨骼点和深度图像中分割出用户的手部区域提供给手势识别子模块；手势识别子模块进行识别，并将识别结果通过ROS消息发送给机器人控制模块；机器人控制模块根据机器人自身的运动种类和操作类型，结合手势种类和识别结果，从映射子模块定义中选择出对应的映射关系，控制机器人完成特定动作。

2.如权利要求1所述的一种基于RGBD摄像头深度图像的机器人手势交互装置，其特征在于，所述的预定义模块根据机器人的类型和实际应用需求，预定义用户手势的类型，以及手势和机器人之间的映射关系；

手势类型子模块用来预定义用户的手势类型；

映射子模块用来定义手势种类/识别结果与机器人运动种类/操作类型间的映射；包括三种模式：运动控制模式、操作控制模式和“运动+操作”模式；

运动控制模式用来定义两种映射：手势种类与机器人运动种类间的映射，以及识别结果与机器人运动种类间的映射；

操作控制模式用来定义两种映射：手势种类与机器人操作类型间的映射，以及识别结果与机器人操作类型间的映射；

“运动+操作”模式定义四种映射：手势种类与机器人运动种类的映射，识别结果与机器人运动种类的映射；手势种类与机器人操作类型间的映射，以及识别结果与机器人操作类型间的映射。

3.如权利要求1所述的一种基于RGBD摄像头深度图像的机器人手势交互装置，其特征在于，所述的反馈模块是用户根据任务需求、环境变化及机器人实际完成的特定动作，制定相应控制策略，并返给预定义模块，将控制策略转化为特定手势类型。

4.应用如权利要求1所述的一种基于RGBD摄像头深度图像的机器人手势交互装置的机器人手势交互方法，其特征在于，包括如下步骤：

步骤一、针对腿式移动操作机器人应用平台，预定义模块根据实际应用情况，分别自定义用户手势的类型，以及手势和机器人之间的映射关系；

步骤二、用户根据机器人类型、实际需求和预定义的手势及映射，做出特定手势；

步骤三、数据获取模块使用RGBD摄像头采集用户手势的骨骼点和深度图像；

步骤四、静态手势识别模块对采集的骨骼点和深度图像进行手部区域分割和手势识别；

具体步骤如下：

步骤401、利用RGBD摄像头的SDK提取手部中心点的深度值作为基准值，设定手部的深度值范围，并提取出该范围内的物体；

具体为：首先利用SDK提取手部中心点的深度值DepthValue，并将DepthValue作为基准值，前后各选取范围a，则将深度值在[DepthValue-a,DepthValue+a]范围内的像素点的值都设置为0，将其余深度范围内的像素点的值都设置为255，提取出深度值在[DepthValue-a,DepthValue+a]范围内的物体；

步骤402、以手部中心点为基准，提取手部感兴趣(Region of interest,ROI)区域，在深度值范围内进行手部区域的分割；

首先，以手部中心点为基准，在手部中心点周围定义矩形框作为手部感兴趣区域；

矩形框的宽度β根据用户离摄像头的远近来调整，具体为β＝d×w；d为离手部中心点的深度；w为初始深度为离手部中心点1米时矩形框的宽度；

当手部的点落在深度值范围[DepthValue-a,DepthValue+a]内时，这些点对应的矩形框中的物体均保留，作为分割的手部区域；

步骤403、对分割的手部区域结果进行降噪和形态学处理，得到手部二值化图像；

步骤404、对手部二值图像进行识别，得到手指的个数作为手势识别结果；

步骤五、根据预定义的手势映射，将手势识别结果映射为机器人的特定动作，并通过ROS消息发送给机器人控制模块；

步骤六、机器人控制模块控制机器人完成特定动作；

步骤七、用户根据机器人实际完成的特定动作、环境变化及任务需求，制定相应控制策略；

步骤八、反馈模块根据相应控制策略选择继续当前的手势映射还是进行新的手势映射，重复上述步骤，将控制策略转化为特定手势类型。