[发明专利]头戴式显示设备的交互方法、装置及头戴式显示设备

说明书

本申请公开了一种头戴式显示设备的交互方法、装置及头戴式显示设备。该方法包括：实时获取手势图像；利用手势识别模型对所述手势图像进行识别，得到手势识别结果；判断手势识别结果是否满足预设交互条件；若满足，则响应于手势识别结果生成相应的用户界面元素，并将用户界面元素在显示界面上进行显示。本申请可以大大降低用户为了提供用户输入信息而需持有额外硬件的需要，减少了人工与头戴式显示设备的各独立组件之间的通信处理步骤，简化了用户操作，降低了用户学习成本，进而提高了头戴式显示设备的整体交互效率；同时本申请提高了各种不便于手持外部输入设备的用户对虚拟现实等头戴式显示设备的可访问性，进而提高了用户的虚拟交互体验。

技术领域

本申请涉及头戴式显示设备技术领域，具体涉及一种头戴式显示设备的交互方法、装置及头戴式显示设备。

背景技术

随着科技的进步，市场需求的多元化发展，虚拟现实设备等头戴式显示设备正变得越来越普遍，并应用在许多领域，如电脑游戏，健康和安全，工业和教育培训等领域。例如混合虚拟现实系统正在被整合到移动通讯设备、游戏机、个人电脑、电影院、主题公园、大学实验室、学生教室以及医院锻炼健身室等生活中的各个角落。

一般而言，现有的头戴式显示设备中涉及到的技术主要包括虚拟现实(VirtualReality，简称VR)、增强现实(Augmented Reality，简称AR)、混合现实(Mixed Reality，简称MR)，以及它们的某种组合和/或衍生组合等，其实现原理是：在将显示内容呈现给用户之前以某种方式进行调整，以给用户提供更好的沉浸式体验。

以虚拟现实系统为例，典型的虚拟现实系统一般包括一个或多个用于向用户呈现和显示内容的设备，例如可以包含由用户佩戴并配置为向用户输出虚拟现实内容的头戴式显示器(Head Mounted Display，简称HMD)，虚拟现实内容可能包括完全生成的内容或生成的内容与捕获的内容(例如，真实世界的视频、图像等)相结合。在用户操作使用期间，用户通常与虚拟现实系统交互，以选择内容、启动应用程序或以其他方式配置系统。

现有的用户和虚拟现实系统进行交互的方式是通过在头戴式显示器的基础上增加一个外部输入设备，例如可以是手柄控制追踪器，用户通过触发手柄控制追踪器和头戴式显示设备呈现的虚拟现实内容进行交互。

然而发明人发现，上述交互方案至少存在如下问题：1)在一些虚拟场景下比如多人虚拟影院，通过外部输入设备控制头戴式显示设备呈现虚拟现实内容的方式较为繁琐，交互效率低；2)如果用户需要手持外部输入设备，可能会降低各种不便于手持外部输入设备的用户的可访问性，进而导致用户的虚拟交互体验较差。

发明内容

有鉴于此，本申请的主要目的在于提供了一种头戴式显示设备的交互方法、装置及头戴式显示设备，用于解决现有的头戴式显示设备的交互方法交互效率不高，用户体验较差等技术问题。

依据本申请的第一方面，提供了一种头戴式显示设备的交互方法，包括：

实时获取手势图像；

利用手势识别模型对所述手势图像进行识别，得到手势识别结果；

判断所述手势识别结果是否满足预设交互条件；

若所述手势识别结果满足预设交互条件，则响应于所述手势识别结果生成相应的用户界面元素，并将所述用户界面元素在显示界面上进行显示。

依据本申请的第二方面，提供了一种头戴式显示设备的交互装置，包括：

手势图像获取单元，用于实时获取手势图像；

手势图像识别单元，用于利用手势识别模型对所述手势图像进行识别，得到手势识别结果；

手势识别结果判断单元，用于判断所述手势识别结果是否满足预设交互条件；