[发明专利]一种基于Leap Motion的手语字母识别方法

说明书

技术领域

本发明涉及人机智能交互领域，特别涉及一种基于深度摄像头设备Leap Motion的手语字母识别方法。

背景技术

手语是由于聋人交际的需要而产生的，它已作为聋人的一种语言，逐渐为人们所接受。手语包括手指语和手势语。手指语是用手指的指式变化和手型代表字母，并按照拼音顺序依次拼出词语；汉语手语字母可以表示十个数字和26个常用字母，还有汉语里面常用的字母组合，包括ZH，CH，SH，NG等，这样常人说的每一个字，都可以用手语进行精确的表示，不会产生歧义；

目前国内外的手语识别设备根据数据采集方式不同，主要分为基于穿戴式设备(数据手套、位置跟踪器、加速器等)和基于视觉(图像)的手语识别系统。基于其它传统的穿戴式设备的识别系统，是利用数据手套、位置跟踪器等测量手势在空间运动的轨迹以及时序信息，该方法的优点在于能方便的获取精确的手型、位置和运动轨迹等信息,识别率高。缺点是进行手语交流时需要穿戴复杂的数据手套、位置跟踪设备等，穿戴麻烦，影响了人机交互的自然性。基于视觉识别的方法利用普通摄像头采集手势图像或视频，再进行图像处理进行识别处理。该方式有很好的人机交互性，然而由于该方法对光线、背景等外部条件的依赖比较强,在进行手部位置、手型、运动轨迹等特征的提取时就需要识别人佩戴特定颜色的手套和穿有特定颜色服饰辅助定位分割，因此基于视觉识别的方法容易受到背景、灯光、摄像头的位置等环境因素的影响，存在局限 性。

基于Kinect的手语识别系统是利用固定视角的Kinect设备获取的是绝对空间位置坐标的特征信息，其中包含了繁多的上半身部位特征以及双手的视觉上的高维深度信息，计算代价大，且不便携带，不能满足交互自然性。

因此需要一种基于Leap Motion的手语字母识别方法弥补上述若干缺陷。

发明内容

本发明的目的在于有效的利用Leap Motion的优势，提供一种不借助其它任何复杂传感设备，可穿戴，人机交互性好，实现实时交互，识别率较高的手语字母识别方法，该方法通过将手语字母就手型、手腕偏移角度两个方面分别进行特征匹配的模板匹配，再根据最大概率准则以及帧流结果稳定原则识别出手语字母。

为实现上述目的，本发明的技术方案是这样实现的。

一种基于Leap Motion的手语字母识别方法，包括以下步骤：

步骤1：利用Leap Motion设备获取手语字母的手掌和手腕的骨骼关节点的3D坐标向量信息；步骤2：根据手掌和手腕的骨骼关节点的3D坐标向量信息计算对应关节的弯曲角度，获取手型特征信息和手腕偏移角度特征信息；步骤3：根据上述特征信息计算手型基元并识别出待识别的手语字母。步骤4：取连续m帧识别的手语字母相一致的作为最终确定的识别结果。

步骤2进一步包括：利用Leap Motion的手掌获取函数获取手掌的手心、手指以及手腕的各关节的3D坐标向量，计算得到相邻关节的相对方向向量，再计算得出每个关节的弯曲角度，具体包括：获取到的每个关节点的3D坐标向量以后，取手腕的其中一个3D坐标向量作为参考点，计算其他关节点的相 对3D坐标向量，再把相邻的两个关节坐标向量利用余弦定律计算其夹角的角度，即关节弯曲角度，得到一组特征向量信息。

步骤3进一步包括，将待识别的手语字母的特征向量信息利用模板匹配的方法，识别出手语字母，具体包括：将待识别的特征向量信息逐一与模板的特征向量进行欧拉距离计算，找出最小距离的N个模板信息，将这N个距离数据进行排序，利用加权算法，根据最大概率和最近邻匹配准则识别出当前帧的手语字母。

加权算法如下：