[发明专利]一种基于虚拟现实桌面手势交互系统

说明书

本发明公开了一种基于虚拟现实桌面手势交互系统，涉及虚拟现实技术领域，解决了用户在与虚拟环境交互过程中的交互动作幅度较大且交互效率不高的技术问题，其技术方案要点是缩小用户在与虚拟环境交互过程中的交互动作幅度，贴合人体生物力学性能，降低交互疲劳，提高交互效率；简化硬件结构，缩小硬件体积，确保硬件系统可随身携带；桌面手势交互作为独立的交互系统并不干涉其他手势交互方式(例如空中手势交互、虚拟手接触点击交互等)，具有良好的技术兼容性。同时，基于计算机视觉技术的桌面手势识别算法通过对桌面图像干扰针对性分类处理，大幅提升手势识别准确率。

技术领域

本申请涉及虚拟现实技术领域，尤其涉及一种基于虚拟现实桌面手势交互系统。

背景技术

以空中手势交互技术为主的自然手势交互技术是虚拟现实中最常用的交互技术之一，其以人的肢体运动作为输入通道贴合人在现实世界的行为习惯，可以有效促进虚拟环境和现实环境融合，保持虚拟现实人机交互过程中的沉浸感。然而，在长时间空中手势交互过程中，用户手臂长期处于不良体位带来的静肌负荷最终造成手部疲劳不适，降低了交互绩效。针对以空中手势交互为主的交互方式所存在的交互疲劳问题，研究者开始探索基于桌面环境的手势交互技术。但这些桌面手势交互技术基本基于具有较强侵入性的可穿戴设备和物理控制器，尚未出现基于自然裸手交互的桌面手势交互技术。

伴随着人工智能发展，计算机视觉技术凭借成本低、效果好等特点被广泛应用于自然手势识别领域。然而，计算机视觉技术容易受到外界环境干扰，在复杂的桌面手势交互环境下，提高计算机视觉的准确率是桌面手势交互技术需要解决的首要问题。

此外，桌面手势交互环境的交互区域较小。通常集中在显示器前的桌面空间之内，在这样的桌面虚拟现实环境下很难实现真实的交互体验，研究者对于在有限的交互区域下扩展可交互空间范围做了许多尝试。Poupyrev等提出在虚拟现实环境下非线性映射的GO-GO技术，当用户手臂伸展到最远并停留时，虚拟手以一定加速度快速向远处延伸，从而将虚拟手扩展到用户无法触及的范围(Poupyrev I,Billinghurst M,Weghorst S,et al.Thego-go interaction technique:non-linear mapping for direct manipulation in VR[C]//Proceedings of the 9th annual ACM symposium on User interface softwareand technology.1996:79-80.)；Stoakley等提出微型世界(WIM)技术，用户手持一个和交互空间等比例映射的微小模型，通过控制微小模型上的变换来控制整个交互空间(Stoakley R,Conway M J,Pausch R.Virtual reality on a WIM:interactive worldsin miniature[C]//Proceedings of the SIGCHI conference on Human factors incomputing systems.1995:265-272.)；Pierce等提出一种类似WIM的Voodoo doll技术，用户通过控制可触及范围内的巫毒娃娃来控制远处与娃娃绑定的虚拟对象(Pierce JS,Stearns B C,Pausch R.Voodoo dolls:seamless interaction at multiple scales invirtual environments[C]//Proceedings of the 1999symposium on Interactive3Dgraphics.1999:141-145.)；Thanyadit等提出一种镜像隐喻的方式(Thanyadit S,Pong TC.Desktop VR using a Mirror Metaphor for Natural User Interface[C]//Proceedings of the 2017ACM International Conference on Interactive Surfacesand Spaces.2017:92-99.)，在桌面虚拟现实环境中模拟一面具有镜像属性的物理立体屏幕，用户的虚拟手可在镜像内的虚拟环境和镜像外的虚拟环境之间自由切换，镜像隐喻的存在使用户可交互空间扩大了一倍。然而，这些尝试大都基于有限的空中手势交互区域开展，如何更好的实现桌面手势交互亟需解决。