[发明专利]头戴式显示设备的信息输入方法、装置及头戴式显示设备

说明书

本申请公开了一种头戴式显示设备的信息输入方法、装置及头戴式显示设备。头戴式显示设备的显示界面中展示有至少一个虚拟键盘，该方法包括：实时获取手势图像；利用手势识别模型对手势图像进行识别，得到手势识别结果；判断手势识别结果是否满足预设输入条件；若手势识别结果满足预设输入条件，则根据手势动作在手势图像中的位置信息，确定手势动作触发的虚拟键盘中的虚拟按键，以作为头戴式显示设备的输入。本申请的头戴式显示设备的信息输入方法可以大大降低用户为了提供用户输入而持有外部控制设备的需要，从而提高了用户的虚拟办公效率，并且提高了各种不便于手持外部控制设备的用户的可访问性，提高了用户的虚拟办公体验。

技术领域

本申请涉及头戴式显示设备技术领域，具体涉及一种头戴式显示设备的信息输入方法、装置及头戴式显示设备。

背景技术

随着科技的进步，市场需求的多元化发展，虚拟现实设备等头戴式显示设备正变得越来越普遍，并应用在许多领域，如电脑游戏，健康和安全，工业和教育培训等领域。例如混合虚拟现实系统正在被整合到移动通讯设备、游戏机、个人电脑、电影院、主题公园、大学实验室、学生教室以及医院锻炼健身室等生活中的各个角落。

一般而言，现有的头戴式显示设备中涉及到的技术主要包括虚拟现实(VirtualReality，简称VR)、增强现实(Augmented Reality，简称AR)、混合现实(Mixed Reality，简称MR)，以及它们的某种组合和/或衍生组合等，其实现原理是在将显示内容呈现给用户之前以某种方式进行调整，以给用户提供更好的沉浸式体验。

以VR头戴式显示设备为例，通过模拟用户的双眼位置，在VR头戴式显示设备上按照人的双眼位置固定两个彩色或者黑白的视频相机，可以实时捕捉外部真实物理三维环境，然后把两个彩色或者黑白的视频相机捕捉的图像，实时通过计算机的立体视觉和图像渲染技术处理，最后通过VR头戴式显示设备呈现给用户，用户可通过VR头戴式显示设备实时查看外部真实的物理三维环境，该功能称之为虚拟现实的透视功能。

在虚拟现实系统的透视功能中，通过进一步在视频相机捕捉的外部真实物理三维环境图像上，实时渲染和叠加一些虚拟交互的场景元素，称之为混合虚拟现实系统。在混合虚拟现实系统中，最为典型的一个应用场景之一就是虚拟办公，在虚拟办公场景下，应用最多的就是用户可以通过虚拟交互呈现多个虚拟屏幕，模拟真实物理环境中的多个屏幕显示器，和虚拟屏幕最为常用的交互设备为虚拟键盘，目前好多厂商通过一个外部控制设备来操作虚拟键盘上的按键。

然而该方法存在如下问题：1)通过外部控制设备控制虚拟键盘，键盘输入效率比较低，进而影响虚拟办公效率和用户体验；2)如果用户需要手持外部控制设备，这可能会降低各种不便于手持外部控制设备的用户的可访问性，进而导致用户的虚拟办公体验较差。

发明内容

有鉴于此，本申请的主要目的在于提供了一种头戴式显示设备的信息输入方法、装置及头戴式显示设备，用于解决头戴式显示设备的信息输入效率不高，用户的虚拟办公体验较差的技术问题。

依据本申请的第一方面，提供了一种头戴式显示设备的信息输入方法，所述头戴式显示设备的显示界面中展示有至少一个虚拟键盘，所述方法包括：

实时获取手势图像；

利用手势识别模型对所述手势图像进行识别，得到手势识别结果，其中所述手势识别结果包括手势动作及所述手势动作在手势图像中的位置信息；

判断所述手势识别结果是否满足预设输入条件；

若所述手势识别结果满足预设输入条件，则根据所述手势动作在手势图像中的位置信息，确定所述手势动作触发的所述虚拟键盘中的虚拟按键，以作为所述头戴式显示设备的输入。

依据本申请的第二方面，提供了一种头戴式显示设备的信息输入装置，包括：

手势图像获取单元，用于实时获取手势图像；