[发明专利]一种基于LeapMotion手势识别的屏幕控制系统及方法

权利要求书

1.一种基于LeapMotion手势识别的屏幕控制系统，其特征在于，包括依次连接的双目摄像头(1)、LeapMotion设备(2)、手势识别计算机(3)和服务器(4)，所述服务器(4)连接至屏幕计算机(5)，所述屏幕计算机(5)连接至屏幕显示器(6)，所述双目摄像头(1)用于采集用户的手部动作图像；

所述LeapMotion设备(2)根据手部动作图像，生成对应的3D模型；

所述手势识别计算机(3)用于对3D模型进行手势识别，并输出手势动作信号指令；

所述服务器(4)根据手势动作信号指令，输出对应的屏幕数据画面跳转指令给屏幕计算机(5)；

所述屏幕计算机(5)根据屏幕数据画面跳转指令，控制屏幕显示器(6)上数据画面的切换。

2.根据权利要求1所述的一种基于LeapMotion手势识别的屏幕控制系统，其特征在于，所述手势识别计算机(3)包括依次连接的手势分割单元(301)、手势分析跟踪单元(302)和手势识别单元(303)，所述手势分割单元(301)用于分割出手部的起始位置与结束位置；

所述手势分析跟踪单元(302)从手部起始位置开始对手部运动进行跟踪；

所述手势识别单元(303)根据手部运动跟踪结果，识别得到对应的手势动作信号。

3.根据权利要求1所述的一种基于LeapMotion手势识别的屏幕控制系统，其特征在于，所述服务器(4)具体为Web服务器。

4.根据权利要求3所述的一种基于LeapMotion手势识别的屏幕控制系统，其特征在于，所述LeapMotion设备(2)通过基于WebRTC的P2P信号传输通道连接至手势识别计算机(3)。

5.根据权利要求3所述的一种基于LeapMotion手势识别的屏幕控制系统，其特征在于，所述手势识别计算机(3)通过WebSocket通信协议通道连接至服务器(4)。

6.一种应用权利要求1所述屏幕控制系统的屏幕控制方法，其特征在于，包括以下步骤：

S1、双目摄像头(1)采集用户的手部动作图像，并将该手部动作图像传输给LeapMotion设备(2)；

S2、LeapMotion设备(2)对手部动作图像进行实时演算，生成对应的手部3D模型，并将该手部3D模型传输给手势识别计算机(3)；

S3、手势识别计算机(3)对手部3D模型进行手势识别，输出对应的手势动作信号指令给服务器(4)；

S4、服务器(4)根据接收的手势动作信号指令，输出对应的屏幕数据画面跳转指令给屏幕计算机(5)；

S5、屏幕计算机(5)根据接收的屏幕数据画面跳转指令，对应控制屏幕显示器(6)上数据画面的切换。

7.根据权利要求6所述的一种屏幕控制方法，其特征在于，所述步骤S1具体是由双目摄像头(1)从左右两个角度同时获取用户的两幅手部动作图像。

8.根据权利要求7所述的一种屏幕控制方法，其特征在于，所述步骤S2具体是对用户的两幅手部动作图像进行立体标定，得到校准后的立体图像；

之后对立体图像进行立体匹配，得到视差图像；

最后利用双目摄像头(1)的内参数和外参数进行三角计算，得到深度图像，即为手部3D模型，该手部3D模型中包含手部关节信息。

9.根据权利要求8所述的一种屏幕控制方法，其特征在于，所述双目摄像头(1)的内参数包括摄像头的投影变换矩阵和透镜畸变参数，所述双目摄像头(1)的外参数包括相对于世界坐标系的旋转矩阵和平移向量。

10.根据权利要求6所述的一种屏幕控制方法，其特征在于，所述步骤S3具体包括以下步骤：

S31、对手部3D模型进行手势分割，得到手部初始位置和结束位置；

S32、将手部初始位置作为手势跟踪算法的起始位置，利用手势跟踪算法对手部运动进行跟踪，直至跟踪至手部结束位置，得到手部运动跟踪结果，若跟踪过程中跟踪目标消失，则返回步骤S31，否则执行步骤S33；

S33、根据手部运动跟踪结果，结合手部关节信息，利用分类识别算法，得到对应的手势动作结果，并输出手势动作信号指令。