[发明专利]一种基于RGBD摄像头深度图像的机器人手势交互方法和装置

摘要

本发明公开了一种基于RGBD摄像头深度图像的机器人手势交互方法和装置，属于人机交互和机器人技术领域。所述装置包括预定义模块，数据获取模块，手部区域分割子模块，手势识别子模块，机器人控制模块和反馈模块；所述方法为首先在腿式移动操作机器人应用平台，预定义模块自定义用户手势的类型以及映射关系；数据获取模块使用RGBD摄像头采集用户手势数据；静态手势识别模块对深度图像进行手部区域分割和手势识别；结合手势种类和识别结果，选择出对应的映射关系，机器人控制模块控制机器人完成特定动作。本发明受光照影响很小，有利于提高手势交互对环境的适应性；操作简单，能满足机器人实时交互的要求，且对光照和复杂背景具有较好鲁棒性。

主权项

一种基于RGBD摄像头深度图像的机器人手势交互装置，其特征在于，包括预定义模块，数据获取模块，手部区域分割子模块，手势识别子模块，机器人控制模块和反馈模块；预定义模块包括手势类型子模块和映射子模块；手部区域分割子模块和手势识别子模块构成了静态手势识别模块；用户在摄像头前做出某手势动作，数据获取模块通过RGBD摄像头采集用户的骨骼点和深度图像等数据，并用USB传输给手部区域分割子模块，手部区域分割子模块从获取的骨骼点和深度图像中分割出用户的手部区域提供给手势识别子模块；手势识别子模块进行识别，并将识别结果通过ROS消息发送给机器人控制模块；机器人控制模块根据机器人自身的运动种类和操作类型，结合手势种类和识别结果，从映射子模块定义中选择出对应的映射关系，控制机器人完成特定动作。