[发明专利]眼动交互方法、头戴式设备和计算机可读介质

说明书

用于虚拟现实和/或增强现实头戴式设备的眼动交互方法、头戴式设备、计算机可读介质，眼动交互方法包括：在屏幕上显示虚拟现实场景，而不显示菜单；追踪用户的视线；依据追踪的视线，判断用户是否通过眼动进行了菜单触发事件；在用户进行了菜单触发事件的情况下，显示菜单。眼动交互方法还可以包括：在显示菜单的情况下，依据追踪的视线判断用户是否进行了菜单选择事件；在确定用户进行了菜单选择事件的情况下，执行所选择菜单项对应的命令，以及隐藏菜单。头戴式设备的眼动交互方法中的菜单平时是不可见的，即不会占用用户的视野，只有在用户想要呼出菜单的时候才会出现，实验验证了菜单触发技术和选择技术的有效性、准确性和鲁棒性。

技术领域

本发明总体地虚拟现实和/或增强现实头戴式设备，更具体地涉及基于眼动跟踪的交互方法和头戴式设备。

背景技术

随着虚拟现实(VR)和增强现实(AR)技术的发展，这些可以渲染虚拟目标的头戴式设备已经走入大众的生活，被广大的用户群体使用，并应用在各种领域，例如游戏、教育、医疗、特殊化训练等。虚拟现实设备的例子有例如图9所示的虚拟现实头盔和图10所示的增强现实头盔。

现有的头戴式显示器中可以部署眼动仪来追踪用户在VR和AR使用眼球的移动和注视点的位置。但是，眼动仪能使用的场景和功能非常受限，主要由于以下几点：1、眼动仪的追踪精度不是非常高，一般会有0.5-2°的误差，并且用户在使用眼动进行交互时眼球的移动并不是那么稳定，这导致眼动仪获取的信号不是非常可靠，经常伴随着无规律的跳动和不小的噪声；2、用户的眼睛在VR和AR的使用中始终是张开的，如何判断用户的眼睛在某个时刻要进行一次有意的交互是一个比较大的挑战。

目前，VR和AR中眼动交互非常有限：1、眼动通常被用来作为用户交互的隐式输入，例如使用眼动来判断用户在关注哪个区域，从而对那个区域进行特定的修改使得用户可以用手或控制器更好地输入；2、可以使用眼睛在界面中指点或者追踪目标，以选择菜单或选择物体，但是这种交互无法普及到实用的场景中，因为无法判断用户使用VR和AR的自然眼动是否是在选择目标，导致误触发的问题；3、使用眼睛进行停留或者画特定轨迹，这些操作不容易在用户自然眼动中误触发，但是这些交互的输入效率较低。

发明内容

鉴于上述情况，提出了本发明。

根据本发明的一个方面，提供了一种用于虚拟现实和/或增强现实头戴式设备的眼动交互方法，包括：在屏幕上显示虚拟现实和/或增强现实的场景，而不显示菜单；追踪用户的视线；依据追踪的视线，判断用户是否通过眼动进行了菜单触发事件；在确定用户进行了菜单触发事件的情况下，显示菜单。

在一个示例中，屏幕上的视野包括菜单区域，所述在确定用户进行了菜单触发事件的情况下，显示菜单包括：在菜单区域显示菜单。

在一个示例中，以屏幕中心为基准，视野分为预定核心区域和预定外围区域，所述菜单区域为所述预定外围区域。

优选地，眼动交互方法还可以包括：在显示菜单的情况下，依据追踪的视线判断用户是否进行了菜单选择事件；在确定用户进行了菜单选择事件的情况下，执行所选择菜单项对应的命令，以及隐藏菜单。

优选地，所述菜单触发事件包括：视线处于除菜单区域外的区域，接下来在第一预定时间内移动进入菜单边界，并保持在菜单区域内不少于第二预定时间。

优选地，所述菜单选择事件包括：视线在第三预定时间内从某个菜单项上离开菜单区域，接下来在所述预定核心区域维持不少于第四预定时间。

优选地，所述菜单选择事件包括：用户视线在某个菜单项上的情况下用户眨眼。

优选地，所述第一预定时间、第二预定时间、第三预定时间、第四预定时间为150毫秒。

优选地，所述菜单边界是针对不同用户定制的。