[发明专利]基于深度相机的空间手势姿态指令处理方法

摘要

基于深度相机的空间手势姿态指令处理方法。涉及基于深度相机的空间手势姿态指令处理方法。在复杂多变的环境中，能够快速、准确识别空间手势指令信息，极大程度提高工作效率及准确度，且鲁棒性高、实用性强、抗干扰能力好。包括以下步骤：1）通过深度相机获取实时的图像；2）利用三维点云计算得到手势点云数据，得手势点云信息；3）将手势点云信息进行平面配准，提取轮廓特征点信息；4）恢复出手势姿态；5）进行手势姿态识别；6）识别相应运动轨迹定义其操作内容，最终通过TUIO协议对动态手势鼠标输出点进行数据平滑。本发明能快速、准确全方位获取目标信息；建立空间运动检测区域，提取不同深度信息，实现多点触摸，从而改善整体操作性能。

主权项

基于深度相机的空间手势姿态指令处理方法，其特征在于，包括以下步骤：1）、通过深度相机获取实时的图像，所述图像包括深度图像和RGB彩色图像；利用OpenNI应用框架对两所述图像中人体进行用户定位和骨骼跟踪，根据所述骨骼跟踪获取所述人体的手部关节点坐标信息；根据所述手部关节点坐标信息，获得所述手势的手掌中心点坐标信息，同时设定所述手势深度信息的阈值，将手势从两所述图像中分割出来，实时得到所述人体的手势深度信息和RGB彩色信息，同时有效地圈出动态手势的位置；2）、对上述步骤1）中所述手势深度信息，利用三维点云计算得到手势点云数据，计算后的所述手势点云数据只包括所述点的三维坐标位置信息，然后对所述手势点云数据做数据滤波处理，滤除掉所述手势点云数据中的噪声干扰点；得手势点云信息；3）、将步骤2）中所述手势点云信息，通过旋转、平移将手势点云信息三维信息进行平面配准，保存配准后手势点云信息，然后提取出手势点云信息的轮廓特征点信息，所述轮廓特征点包括指尖点、指尖凹点和手掌中心点；4）、根据步骤3）中所述轮廓特征点信息结合深度图像的像素深度值映射出所述轮廓特征点的深度值，通过欧式距离法做距离阈值判断、筛选出关键指尖点信息，根据所述指尖点信息和对应指尖凹点信息结合所述平面配准的平面获取五个手指特征矢量，根据所述特征矢量恢复出手势姿态；5）、根据步骤4）所述特征矢量的条件筛选进行三种手势姿态识别；所述三种手势姿态的指令及相应指令处理：”Grab”手势，定义为模拟抓取当前三维空间位置物体；”Fist”手势在空间连续运动时，定义为拖动操作，表示运动手势模拟拽拖或移动当前空间位置物体；”Kick”手势定义为点击操作，表示运动手势模拟点击当前空间位置信息，且连续输出空间坐标的信息；6）、根据步骤5）手势姿态识别的结果，在特定手势姿态下，跟踪步骤1）中所述的动态手势的运动轨迹，自动标定一垂直于深度体感相机的虚拟参考平面，当动态手势在标定平面上有运动变化时，测出手势鼠标在标定平面上的相应运动，识别其运动轨迹做并做相应模拟手势鼠标处理操作；当动态手势出现垂直于相机的运动轨迹时，识别相应运动轨迹定义其操作内容，最终通过TUIO协议对动态手势鼠标输出点进行数据平滑。