[发明专利]一种基于RGBD摄像头深度图像的机器人手势交互方法和装置

说明书

技术领域

本发明属于人机交互和机器人技术领域，具体涉及一种基于RGBD摄像头深度图像的机器人手势交互方法和装置。

背景技术

腿式移动操作机器人可以代替人类去危险的剧毒场所作业，也可以去太空等执行星球探测任务，在侦察预警、应急救援、反恐防暴等领域有广阔的应用前景。这些任务通常比较复杂，而目前机器人水平有限，不能完全自主处理所有事务，通常需要人类协助，良好的人机交互不仅可以提高工作效率，还可以充分利用人类智慧，指导机器人完成更复杂的任务。因此，良好的人机交互至关重要。

手势是人与机器人交互的重要方式，具有交互直观、自然的优点，但机器人与人手势交互过程中存在以下问题：由于腿式移动操作机器人多基于嵌入式系统，硬件计算能力有限，无法实现实时交互；且机器人多处于动态环境，受光照、背景变化等影响较大。

自然的人机交互具有简单直观、操作方便的优点，让人们与机器人的交互越来越有趣，让人们的生活越来越便利，越来越受到大众的青睐；所以改善人机交互方式在计算机和机器人行业是大势所趋。

发明内容

本发明为了解决腿式移动机器人中的手势识别硬件计算能力有限，但手势识别有实时性要求，且手势识别受光照变化影响大的问题，提出了一种基于RGBD摄像头深度图像的机器人手势交互方法和装置，用于腿式移动操作机器人应用平台；

所述的基于RGBD摄像头深度图像的机器人手势交互装置，包括预定义模块，数据获取模块，手部区域分割子模块，手势识别子模块，机器人控制模块和反馈模块；其中预定义模块包括手势类型子模块和映射子模块；手部区域分割子模块和手势识别子模块构成了静态手势识别模块。

预定义模块根据机器人的类型和实际应用需求，预定义用户手势的类型，以及手势和机器人之间的映射关系；

具体为：手势类型子模块用来预定义用户的手势类型；

映射子模块用来定义手势种类/识别结果与机器人运动种类/操作类型间的映射；包含三种模式：运动控制模式、操作控制模式和“运动+操作”模式。

运动控制模式用来定义两种映射：手势种类与机器人运动种类间的映射，以及识别结果与机器人运动种类间的映射；

操作控制模式用来定义两种映射：手势种类与机器人操作类型间的映射，以及识别结果与机器人操作类型间的映射；

“运动+操作”模式定义四种映射：手势种类与机器人运动种类的映射，识别结果与机器人运动种类的映射；手势种类与机器人操作类型间的映射，以及识别结果与机器人操作类型间的映射。

用户在摄像头前做出某手势动作，数据获取模块通过RGBD摄像头采集用户的骨骼点和深度图像等数据，并用USB传输给手部区域分割子模块，手部区域分割子模块从获取的骨骼点和深度图像中分割出用户的手部区域提供给手势识别子模块；手势识别子模块进行识别，并将识别结果通过ROS消息发送给机器人控制模块；机器人控制模块根据机器人自身的运动种类和操作类型，结合手势种类和识别结果，从映射子模块定义中选择出对应的映射关系，控制机器人完成特定动作。

反馈模块是用户根据任务需求、环境变化及机器人实际完成的特定动作，制定相应控制策略；并返给预定义模块，将控制策略转化为特定手势类型。

所述的基于RGBD摄像头深度图像的机器人手势交互方法，具体步骤如下：

步骤一、针对腿式移动操作机器人应用平台，预定义模块根据实际应用情况，分别自定义用户手势的类型，以及手势和机器人之间的映射关系；

映射包含三种模式：运动控制模式、操作控制模式和“运动+操作”模式。

运动控制模式用来定义两种映射：手势种类与机器人运动种类间的映射,以及识别结果与机器人运动种类间的映射；

操作控制模式用来定义两种映射：手势种类与机器人操作类型间的映射，以及识别结果与机器人操作类型间的映射；

“运动+操作”模式定义四种映射：手势种类与机器人运动种类的映射，识别结果与机器人运动种类的映射；手势种类与机器人操作类型间的映射，以及识别结果与机器人操作类型间的映射。

步骤二、用户根据机器人类型、实际需求和预定义的手势及映射，做出特定手势；

步骤三、数据获取模块使用RGBD摄像头采集用户手势的骨骼点和深度图像；

步骤四、静态手势识别模块对采集的骨骼点和深度图像进行手部区域分割和手势识别；

具体步骤如下：

步骤401、利用RGBD摄像头的SDK提取手部中心点的深度值作为基准值,设定手部的深度值范围，并提取出该范围内的物体；