[发明专利]一种基于混合现实桌面手势交互方法

权利要求书

1.一种基于混合现实桌面手势交互方法，其特征在于，包括：

S1：用户佩戴混合现实头戴式显示器，用户处于混合现实环境中并保持坐姿作业状态，手指在桌面上滑移点击；

S2：对桌面手势交互图像进行捕获，对桌面手势交互图像的图像干扰进行消除，获取手指与桌面的手指触摸信息，所述手指触摸信息包括手指触摸数量、手指触摸时间、手指触摸位置及手指轮廓面积；

S3：根据手指触摸个数、手指触摸时间、手指触摸位置及手指轮廓面积对桌面手势进行判定，完成对桌面手势的识别；

S4：对交互目标进行选择，并根据所识别的桌面手势，实现混合现实环境中的交互行为触发，完成混合现实桌面手势交互。

2.如权利要求1所述的桌面手势交互方法，其特征在于，所述图像干扰包括静态干扰和动态干扰；所述静态干扰由桌面环境产生，通过背景剔除技术对静态干扰进行消除；所述动态干扰由肢体运动产生，通过手指特征提取分离技术对动态干扰进行消除。

3.如权利要求2所述的桌面手势交互方法，其特征在于，对桌面手势进行判定包括：

根据手指触摸数量，桌面手势判定包括单指手势和多指手势；

根据手指时变特性，桌面手势判定包括静态手势和动态手势；

根据手指触摸位置在桌面上的变化，桌面手势判定包括滑移手势、点击手势及其他复杂手势。

4.如权利要求3所述的桌面手势交互方法，其特征在于，根据手指时变特性，桌面手势判定包括静态手势和动态手势，包括：

在手势动作出现到手势判定生效时间段内，若手指出现在桌面触摸位置抖动范围小于距离阈值L，则判定为静态手势；若手指出现在桌面触摸位置抖动范围大于距离阈值L，则判定静态手势失败，重新对桌面手势进行判定。

5.如权利要求3所述的桌面手势交互方法，其特征在于，所述点击手势包括单指点击和单指双击；若最新一次单指按下和最新一次单指离开的间隔时间小于单击判定阈值，则判定为单指点击；若连续两次单指点击的间隔时间小于双击判定阈值，则判定为单指双击。

6.如权利要求3所述的桌面手势交互方法，其特征在于，所述滑移手势包括单指滑动，若手指滑移距离大于大范围滑动距离阈值且在滑移期间手指滑移速度始终大于大范围滑动速度阈值，则判定单根手指大范围滑动，进而触发控件滑动。

7.如权利要求3所述的桌面手势交互方法，其特征在于，所述其他复杂手势包括单指长按和两指缩放；

若最新一次单根手指首次按下时刻和当前单根手指按下时刻之间的间隔时间大于长按判定阈值，且该间隔时间内手指保持按下、手指位置变化小于长按判定阈值，判定单指长按，并触发扩展菜单；

若桌面最开始检测出两根手指时两根手指中心点中的任意一个中心点移动速度大于缩放判定阈值，且在此期间桌面手指数量持续为2，则判定两指张开或者回缩，触发物体放大缩小。

8.如权利要求1所述的桌面手势交互方法，其特征在于，对交互目标进行选择包括：

从用户视野中心向虚拟环境投射射线，通过射线与虚拟环境中的三维物体或UI控件产生碰撞来对交互目标进行选择。