[发明专利]一种用于控制模拟量的手势识别控制方法

说明书

本发明提出了一种用于控制模拟量的手势识别控制方法，本发明利用深度摄像头LeapMotion提供的手部3D空间数据，根据单帧图像中各关节之间的位置关系与方向关系进行静态手势识别；多帧图像中关节数据的变化进行动态手势识别；以及基于连续多帧图像的连续手势识别，在连续手势识别方面，消除了由于人手操作原因或LeapMotion数据误差造成的抖动导致连续手势的间断，从而实现了连续手势的模拟量控制。

技术领域

本发明属于手势识别控制技术领域，特别是涉及一种用于控制模拟量的手势识别控制方法。

背景技术

手势作为人机交互的一种重要方式具有非接触、操控方便等特点，现有的手势识别方法主要分基于可穿戴设备和视觉的方法。基于可穿戴设备的方法是利用传感器跟踪手部在空间中的运动轨迹和时序信息，优点是可以获得精确的手部数据，缺点是需要穿戴各种复杂的设备，影响人机交互体验的自然性。基于视觉的方法主要是基于单目摄像头和深度摄像头，单目摄像头在获取图像时丢失了深度信息，只能识别特定类别的手势，例如静态手型手势；在深度摄像头方面主要集中在静态手势识别、手部的左右挥动识别，控制量也主要是一些开关量，然而在实际生活中需要对一些设备进行连续的模拟量控制，例如设备的音量、温度等。

此外，在利用手势进行控制时还存在一些其他问题，一方面是各个手势之间存在一定的相似性；另一方面是在动态手势过程中，由于每个人的动作习惯以及手指运动先后顺序不同，常常会产生手势的耦合，即在某一个动态手势过程中会包含其他的动态手势。上述问题的解决不仅仅依靠具体的识别方法，还需要在控制逻辑上进行一些处理，对手势变换过程中的一些状态作相应的约束和干扰手势的剔除。

发明内容

本发明目的是为了解决现有技术中的问题，提供了一种用于控制模拟量的手势识别控制方法。

本发明是通过以下技术方案实现的，本发明提出一种用于控制模拟量的手势识别控制方法，

步骤1、利用摄像头采集手部3D空间数据，得到一个完整的手势动作；

步骤2、将所述完整的手势动作分解成静态手势、动态手势和连续手势；

步骤3、根据单帧图像中各关节之间的位置关系与方向关系进行静态手势识别；

步骤4、在识别到静态手势后进行动态手势识别或连续手势识别；如果在识别到静态手势后进行动态手势识别则执行步骤5；如果在识别到静态手势后进行连续手势识别则执行步骤7；

步骤5、进行动态手势识别，如果识别到动态手势则执行步骤6；如果没有识别到动态手势则执行静态手势对应的操作；

步骤6、进行连续手势识别，如果识别到连续手势，则将识别到的静态手势、动态手势和连续手势进行融合，得到手势融合结果，根据手势融合结果执行相应的操作；如果没有识别到连续手势则执行动态手势识别结果对应的操作；

步骤7、如果识别到连续手势，则根据连续手势的识别结果执行相应的操作；如果没有识别到连续手势，则执行步骤5。

进一步地，所述静态手势包括数字1手势、数字2手势、数字3手势和数字5手势；所述动态手势包括两指捏合手势、三指捏合手势、握拳手势和手掌挥动手势；所述连续手势包括水平面直线运动手势和水平面圆周运动手势。

进一步地，所述数字2手势为拇指与食指伸平，其余手指握紧；所述数字3手势为拇指、食指和中指伸平，其余手指握紧；所述两指捏合手势为从数字2手势到指尖接触；所述三指捏合手势为从数字3手势到指尖接触；所述手掌挥动手势为五指伸平在XOY平面顺/逆时针挥动；所述水平面直线运动手势为三指捏合沿X轴方向滑动；所述水平面圆周运动手势为两指捏合在XOZ平面绕固定圆心滑动。

进一步地，所述静态手势识别是基于单帧图像中手部各关节与掌心之间的距离比例以及各手指骨骼方向与掌心方向向量之间的方向关系来进行区分。