[发明专利]一种基于虚拟界面的手势交互方法

说明书

技术领域

本发明属于人机交互领域，具体涉及一种基于虚拟界面的手势交互方法。

背景技术

手势交互作为一种自然的交互方式越来越受到人们的重视，是人机交互领域的一个研究热点。与传统的基于图形用户界面的交互方式相比，基于视觉的手势交互界面(Vision-Based Gesture Interface，VBGI)使用户摆脱了键盘、鼠标的束缚，因而成为一种自然、无约束的交互方式。基于视觉的手势交互界面被广泛应用在智能空间、增强现实、普适计算等多个领域，逐渐成为国内外的研究热点。但是由于VBGI具有非接触性和模糊性等特点，所以还存在一个问题即“Midas Touch Problem”。由于人手活动的有效范围往往是摄像头所能捕获到的整个范围，系统无法区分哪些是用户的真正意图，哪些是下意识的动作，即有效和无效手势。

在VBGI中“Midas Touch”是一个普遍存在的问题。在文献“基于视觉的手势界面关键技术研究[J]”(武汇岳，张凤军，刘玉进，戴国忠..计算机学报，2009，10：2030-2041)中，武岳汇等人总结到对于该问题的解决办法大致可以分为3类，分别是基于时间延迟的策略、基于空间接近的原则以及基于widget提供交互上下文的方法。基于时间延迟的策略是Jacob提出的，其主要思想是通过计算手势控制界面上的光标在界面对象上停留时间的长短来判断该对象是否被选中。显然，该方法存在一定的不足。因为用户在操作时必须时刻注意手势停留在对象上的时间，这无疑增加了用户的认知负担和操作负担。Kato等人提出了基于空间接近原则的策略。该方法的主要思想是通过判断用户手持的paddle与虚拟对象之间的距离来完成一系列的交互任务。此方法的缺陷是由于paddle与虚拟对象之间的距离不容易控制所以也会造成误选。Kjeldsen提出在手势动作和视觉界面widget之间建立一定的映射关系。由于每个界面widget具有一定的空间位置，所以可通过其提供的交互上下文来约束视觉交互行为。虽然此系统在一定程度上解决了误选的问题，但是该方法不够自然。因为当系统需产生很多widget时，这无疑会加大用户的认知负担，而且会使界面空间过大而影响交互。武岳汇等人提出了一个可扩展的视觉手势交互模型，该模型将手势交互分为选择性处理、分配性处理和集中处理三个阶段；然后在此模型的基础上提出了一个手势识别框架。

现有技术虽然在某种程度上能解决“Midas Touch Problem”，但存在两方面的不足：(1)很容易造成误选；(2)由于多条件的限制，增加了用户的操作负担和认知负担。

发明内容

本发明的目的在于解决上述现有技术中存在的难题，提供一种基于虚拟界面的手势交互方法，高效解决“Midas Touch Problem”，具有良好的用户体验。

本发明是通过以下技术方案实现的：

一种基于虚拟界面的手势交互方法，包括：

S1，手势分割：从复杂背景中把手势图像分离出来，只在前景中保留手势部分；

S2，构建虚拟界面：操作者按照从左到右、从下到上的顺序，在空中画矩形轨迹，根据该矩形轨迹拟合得到虚拟界面；

S3，对所述虚拟界面进行分区，并判断人手所处的分区；

S4，虚拟界面的实时刷新移动：当人体移动时，已生成的虚拟界面随着人体的移动进行相应的同方向移动。

所述S1中是采用kinect传感器获取深度数据，利用深度数据进行手势分割，具体如下：

利用OpenNI跟踪人手，获取人手的位置；

然后利用人手的深度数据在人手附近进行阈值化，提取出人手的部位；

运用肤色模型对已分割出的人手进行处理得到分割结果；

对分割结果进行去噪、腐蚀、膨胀处理，获得手势空间点。

所述S2中的虚拟界面的大小和位置由两部分确定：手势空间点在屏幕上的投影点所确定的平面矩形范围，用集合Range₁表示，采用最小二乘法线性拟合的方法得到；人手在空间中的深度范围，用集合Range₂表示，采用对深度数据求最值的方法得到。

所述S2是这样实现的：

(A1)保存初始状态人手的空间坐标点；

(A2)判断虚拟界面学习过程是否结束，若同时满足结束条件，则表明学习结束，然后转向步骤(A7)；若不满足以下条件，则转入步骤(A3)；所述结束条件为：

|Cur_pointy-Sta_pointy|＜a  (1)

|Cur_pointx-Sta_pointx|＜a  (2)