[发明专利]一种基于虚拟界面的手势交互方法

摘要

本发明提供了一种基于虚拟界面的手势交互方法，属于人机交互领域。该方法包括S1，手势分割从复杂背景中把手势图像分离出来，只在前景中保留手势部分；S2，构建虚拟界面操作者按照从左到右、从下到上的顺序，在空中画矩形轨迹，根据该矩形轨迹拟合得到虚拟界面；S3，对所述虚拟界面进行分区，并判断人手所处的分区；S4，虚拟界面的实时刷新移动当人体移动时，已生成的虚拟界面随着人体的移动进行相应的同方向移动。

主权项

一种基于虚拟界面的手势交互方法，其特征在于：所述方法包括：S1，手势分割：从复杂背景中把手势图像分离出来，只在前景中保留手势部分；S2，构建虚拟界面：操作者按照从左到右、从下到上的顺序，在空中画矩形轨迹，根据该矩形轨迹拟合得到虚拟界面；S3，对所述虚拟界面进行分区，并判断人手所处的分区；S4，虚拟界面的实时刷新移动：当人体移动时，已生成的虚拟界面随着人体的移动进行相应的同方向移动；所述S1中是采用kinect传感器获取深度数据，利用深度数据进行手势分割，具体如下：利用OpenNI跟踪人手，获取人手的位置；然后利用人手的深度数据在人手附近进行阈值化，提取出人手的部位；运用肤色模型对已分割出的人手进行处理得到分割结果；对分割结果进行去噪、腐蚀、膨胀处理，获得手势空间点；所述S2中的虚拟界面的大小和位置由两部分确定：手势空间点在屏幕上的投影点所确定的平面矩形范围，用集合Range1表示，采用最小二乘法线性拟合的方法得到；人手在空间中的深度范围，用集合Range2表示，采用对深度数据求最值的方法得到；所述S2是这样实现的：(A1)保存初始状态人手的空间坐标点；(A2)判断虚拟界面学习过程是否结束，若同时满足结束条件，则表明学习结束，然后转向步骤(A7)；若不满足以下条件，则转入步骤(A3)；所述结束条件为：|Cur_pointy‑Sta_pointy|＜a   (1)|Cur_pointx‑Sta_pointx|＜a   (2)其中，Cur_pointy为当前帧人手空间坐标y值，Sta_pointy为初始状态人手空间坐标y值，Cur_pointx为当前帧人手空间坐标x值，Sta_pointx为初始状态人手空间坐标x值；a为常量；(A3)将当前帧手势投影坐标值保存在集合C1中，n为集合C1中元素的个数。将人手空间深度值HandDepth保存到集合C2中；同时判断是否满足公式(3)，若满足公式(3)所示的条件，则将该帧手势的投影坐标值保存在中间变量Temp中：Cur_pointx‑Sta_pointx＜b   (3)b为常量；(A4)确定左下角点的坐标，判断是否满足：Cur_pointx‑Sta_pointx＞b   (4)若满足，则Temp即当前点为左下角点的坐标值，同时也为投影矩形下面的边y＝Ymax的初始点坐标值；(A5)拟合投影矩形左边的直线x＝Xmin，对集合C1和n运用最小二乘法进行直线拟合，得到Xmin的值；(A6)寻找右下角的点，开始对直线y＝Ymax进行拟合；(A7)确定虚拟界面学习过程中的深度范围：对集合C2求最大和最小值得到HDmin、HDmax；(A8)按照同样的方法分别对直线y＝Ymax、x＝Xmax、y＝Ymin进行拟合，得到Range1＝{Xmin，Xmax，Ymin，Ymax}；虚拟界面的范围Range为：Range＝Range1URange2＝{Xmin，Xmax，Ymin，Ymax，HDmin，HDmax}(5)其中，Xmin、Xmax分别为投影矩形x方向的最小值和最大值，Ymin、和Ymax分别为投影矩形y方向的最小值和最大值，HDmin、HDmax分别为学习过程中手势深度的最小值和最大值；人手在屏幕上的投影点x坐标为ProX，y坐标为ProY，人手在空间中的深度坐标为HandZ；当满足ProX∈[Xmin，Xmax]，ProY∈[Ymin，Ymax]，HandZ∈[HDmin，HDmax]时，手势命令才是有效的。