[发明专利]一种用于虚拟现实的虚实融合键盘系统

说明书

本发明公开了一种用于虚拟现实的虚实融合键盘系统，能够通过虚实融合技术，给予用户真实的触觉力反馈，提升系统键盘输入的输入体验和真实感，同时提升输入效率。本发明的技术方案为：包括位置跟踪器、手型获取设备、真实键盘、计算机以及头戴式显示器HMD。位置跟踪器，设置于真实键盘上，获取真实键盘实时位置信息发送至计算机。手型获取设备，用于获取用户用手敲击键盘时的手部形状及手部位置数据发送至计算机。计算机根据真实键盘实时位置信息控制HMD在虚拟场景的相应位置渲染虚拟键盘，虚拟键盘与真实键盘几何形状一致。计算机根据手部形状及手部位置数据控制HMD在虚拟场景的相应位置渲染出手部形状。

技术领域

本发明涉及虚拟现实技术领域，具体涉及一种用于虚拟现实的虚实融合键盘系统。

背景技术

目前在虚拟现实技术领域，设计到针对键盘的虚拟现实系统时，一般有两种方案，分别为Holographic Keyboard–Microsoft和公开号为CN106354412A的专利，既基于虚拟现实设备的输入方法及装置。

Holographic Keyboard-Microsoft：该方案使用深度摄像机捕捉用户真实手的深度信息，利用深度信息，实时追踪用户手的姿态，并在头盔中显示出全息手图像。用户激活虚拟键盘系统时，虚拟键盘固定显示在虚拟手下方一定距离处，并保持固定的交互角度。当用户进行按键动作时，虚拟手下方出现阴影，并随着按键动作向中间汇聚，提升交互体验。该方案还将虚拟按键动画化，当手指向某个键伸去时，要被选中的键会向外延伸，在按下该键时，虚拟键向键盘表面移动，增加了交互真实性。

然而Microsoft的Holographic Keyboard混合现实系统使用虚拟键盘进行按键输入，虽然有按键动画提升交互体验，但与传统的真实键盘输入相比，缺少触觉力反馈，大大降低了虚拟现实系统的真实感，影响输入速度。该系统需要实时对手部进行图像提取，识别，绘制出手部图像，增加了算法的复杂程度，增大了计算设备的压力。在对手部进行识别时，当用户真实手出现复杂动作(比如两指交叉)时，可能出现手指识别混乱，导致虚拟骨骼对应错误，发生畸形。

基于虚拟现实设备的输入方法及装置(专利号：CN106354412A)：该方案提供了一种在虚拟现实设备中的虚拟键盘输入系统。用户在预设识别区域内存在输入操作特征时，触发虚拟键盘的显示，显示的虚拟键盘与虚拟手指可以保持固定的预设关系。当摄像机检测到用户的虚拟手图像有移动和手指弯曲时，对手的移动距离进行判断，确定用户的按键信息，并进行显示。系统中，当输出的按键信息与实际按键不符合时，可以对键盘位置重新标定显示，提高输入的准确率。

该虚拟现实设备中的虚拟键盘输入系统，在输入时，需要对手指移动的距离和弯曲程度进行实时检测，由于现有的手部跟踪系统，存在标定误差和环境噪声等，导致有一定的位置误差，造成输入信息判断错误。在使用键盘时，用户可能不自觉的处于手部弯曲放松姿势，可能造成系统误输入，降低用户的输入效率。并且，该方案使用虚拟键盘，与常规键盘相比，缺少触觉力反馈，降低了输入体验和虚拟现实系统的真实感。

综上，以上两种针对键盘的虚拟系统均为在虚拟场景中建立虚拟键盘，用户针对虚拟键盘进行操作，缺少触觉力反馈，降低了输入体验和虚拟现实系统的真实感；同时由于无法对用户手部进行高效实时的跟踪，导致输入效率变慢。

发明内容

有鉴于此，本发明提供了一种用于虚拟现实的虚实融合键盘系统，能够通过虚实融合技术，给予用户真实的触觉力反馈，提升系统键盘输入的输入体验和真实感，同时提升输入效率。

本发明的技术方案为

一种用于虚拟现实的虚实融合键盘系统，该系统包括：位置跟踪器、手型获取设备、真实键盘、计算机以及头戴式显示器HMD。

位置跟踪器，设置于真实键盘上，获取真实键盘实时位置信息发送至计算机。

手型获取设备，用于获取用户用手敲击键盘时的手部数据发送至计算机。