[发明专利]基于虚拟触摸屏的非穿戴指势人机交互方法

权利要求书

1.一种基于虚拟触摸屏的非穿戴指势人机交互方法，其特征在于具体步骤如下：

1)启动非穿戴指势人机交互系统，采集视频图像；

2)获取用户三维信息：标定Kinect，并由Kinect获取用户三维信息；

3)用户指势手部区域分割：根据步骤2)所提取的用户三维信息，获取用户手部深度方向的Z坐标，并将Z坐标值小的手部区域确定为指势手部区域；

4)指势手指尖提取：根据步骤3)所确定的用户指势手部区域，确定对应的指势手部区域外接矩形框；根据指势手指的Z坐标值小的特点，将具有最小Z坐标值且手指与外接矩形框的边缘相交点确定为指势手的手指尖点；

5)手指目标的行为确定；

6)虚拟触摸屏的构建,构建的具体操作步骤如下：

(6-1)手指屏的模块划分：将手指屏分别在水平X方向划分为m个模块和垂直Y方向划分为n个模块，并由此分别确定手指屏在水平X方向的各个分界点坐标为X₁,......,X_n+1，以及在垂直Y方向的各个分界点坐标为：Y₁,......,Y_n+1；

(6-2)虚拟触摸屏构建：根据步骤2)所获取的用户三维信息，确定人脸中心点的三维坐标X_head，Y_head，Z_head；同时，根据步骤4)所确定的手指尖，获取手指尖在深度Z方向的坐标值Z_fingertip，并根据步骤(6-1)所划分的手指屏的各个分界点坐标X_i,i＝1,2,...,m+1，Y_j,j＝1,2,...,n+1，按下式计算手指屏各模块分界点在虚拟触摸屏上的对应点坐标X′_i，Y′_j,构建用户手指可触及的虚拟触摸屏：

Xi′=(Xhead-Xi)×(Zfingertip-Zhead)Zhead+XheadYj′=(Yhead-Yj)×(Zfingertip-Zhead)Zhead+Yhead;]]>

7)手指目标的确定：根据手指尖在步骤6)所构建的虚拟触摸屏的位置计算，确定手指的目标。

2.根据权利要求1所述的基于虚拟触摸屏的非穿戴指势人机交互方法，其特征在于：所述步骤5)手指目标的行为判定的具体操作步骤如下：

(5-1)手指尖在相邻时刻的位移量计算：根据手指尖在t时刻和t-1时刻分别在水平X方向的三维坐标X_t、X_t-1，垂直Y方向的三维坐标Y_t、Y_t-1和深度Z方向的三维坐标Z_t、Z_t-1，计算手指尖在水平X方向、垂直Y方向和深度Z方向的位移量D_x、D_y、D_z:D_x＝X_t-X_t-1，D_y＝Y_t-Y_t-1，D_z＝Z_t-Z_t-1，并由此确定手指尖在相邻时刻的位移量D:

(5-2)手指目标的行为确定：根据手指目标时，手指尖在相邻时刻的位移量D值小的特点，将满足手指尖位移量D在连续设定p帧内小于给定阈值T的行为判定为手指目标行为。