[发明专利]一种实时手势识别方法及装置

说明书

技术领域

本发明涉及体感控制领域，尤其是一种实时手势识别方法及装置。

背景技术

手势识别是体感控制领域的一项重要技术，通过此项技术用户可以通过手势识别控制器以最自然的方式进行人机的交互，比如通过用户的手就可以进行音乐创作，实现手指空中弹奏，医疗的远程手术，远程危险做业，三维模型搭建等操作。

传统的手势识别过程是先通过帧差法或是肤色识别等方法从可见光图像中提取手势目标；接着进行目标边缘检测，再对边缘序列进行排序拼接；最后通过曲率角点算法，获取曲率最大的坐标处即为类指尖，因为指尖和手指的缝隙是手指的曲率最大极值点，为了排除指缝还需要再通过向量旋转角度特征排除手指缝坐标，从而最终获得指尖坐标。

但是传统的手势识别算法有很多的缺点，第一在手势目标提取过程中要通过手势目标的提取过程中，因为在可见光环境下，图像对可见光线敏感，易影响目标的提取效果，通用性差，而且采用帧差法还要训练背景模板，增加识别算法复杂度及模板的更新问题，存储一帧数据进行对比使过程难度加大，嵌入式移植时的存储量增加等问题，不利于嵌入式平台移植。第二对于边缘检测序列的拼接需要消耗较多的时间和资源，不能使手势识别计算结果在一帧内完成，总要延时若干帧，实时性差。第三对于在帧与帧之间获取最大的曲率角点坐标，具有坐标跳跃性，不具有坐标连贯性，会产生明显的坐标抖动，然而最终会使得指尖的定位产生明显抖动，不利于之后的精确地操作应用。第四无法再手势识别的同时获取目标的骨架数据信息，只是单纯的识别指尖的大致边界区域。

发明内容

本发明所要解决的技术问题是：针对现有技术存在的问题，提供一种实时手势识别方法及装置，本发明涉及一种实时精准的手势识别方法，能在一帧内边进行图像实时输出边进行该算法进行图像处理，从而可以获得任何类型的二维或三维图像目标边缘、手指骨干、手指尖端、末端节点等丰富数据信息；且数据信息能实时的进行排序以获得顺序数组。还可以实现基于骨架特征的目标精确实时跟踪匹配，医学上动静脉轨迹分析。

本发明采用的技术方案如下：

一种实时手势识别方法包括：

步骤1：通过手势识别装置的左摄像头、右摄像头，进行图像显示帧的同步实时k行全屏扫描，获取红外图像数据，处理器分别对红外图像数据进行处理；步骤2：处理器将红外图像转化为灰度图像通过自适应阀值处理，将手势区域与背景区域进行分离，通过图像二值化的自适应法处理获得手势目标的二值化图；

步骤3：通过基于目标边界的预测归类算法对手势区域中每个手指进行相关特征的坐标位置的预测，并将不同的手指特征数据分离归类，获取手势区域中不同手指起始边缘数组a_ei、手指终止边缘数组b_ei、手掌边缘数组和手指骨干数组c_ei；当e=1时，代表左摄像头数据，e=2时，代表右摄像数据；

步骤4：通过每个手指的手指起始边缘a_ei、手指终止边缘b_ei和手指骨干数组c_ei，获得手指指尖圆心坐标(x_ei,y_ei)；

步骤5：通过步骤3、4，根据手指末端判断准则，获得不同手指指节末端；

步骤6：所述左摄像头、右摄像头分别通过对应的不同手指指节末端和手掌边缘拟合手掌圆心(x_e0,y_e0)；对左摄像头、右摄像头采集同一手势姿势的数据，进行双视差图匹配计算，得到匹配手势识别坐标点；

步骤7：将匹配手势识别坐标点进行三维建模从而获得手势的3维数据信息；对三维数据信息的运动轨迹进行平滑处理；将平滑后的三维数据信息进行应用输出。

优选的，所述步骤3中基于目标边界的预测归类算法具体步骤：

步骤31：当检测到疑似手势目标，即二值图白色像素，并记录手势姿势在该行的起始点a_ei，其坐标值为(xa_ei,ya_ei)；

步骤32：当k行该疑似目标宽度，即连续白色像素个数大于阈值p时，认为检测到了手势目标而不是噪声点，并记录该行手势目标的终止点b_ei（xb_ei,yb_ei），其中p=10。