[发明专利]一种基于眼动追踪的人机交互系统及其工作方法

说明书

本发明公开了一种基于眼动追踪的人机交互系统及其工作方法，其中该系统包括处理器，其与AR/VR头显装置和视频采集装置分别相连；AR/VR头显装置上设置有眼动追踪传感器和角运动传感器，眼动追踪传感器和角运动传感器分别用于实时捕捉眼部活动信息和实时采集AR/VR头显装置的当前运动状态且均传送至处理器；视频采集装置用于采集眼部视线范围内的场景图像并传送至处理器。本发明能提升AR/VR在各个工程应用领域的交互体验。

技术领域

本发明属于人机交互领域，尤其涉及一种基于眼动追踪的人机交互系统及其工作方法。

背景技术

虚拟现实(Virtuai reaiity，VR)是一种综合计算机图形技术、多媒体技术、传感器技术、人机交互技术、网络技术、立体显示技术以及仿真技术等多种科学技术综合发展起来的计算机领域的最新技术，也是力学、数学、光学、机构运动学等各种学科的综合应用。目前，所涉及的研究应用领域包括：军事、医学、心理学、教育、科研、商业、影视、娱乐、制造业、工程训练等。虚拟现实已经被人们公认为是21世纪重要发展学科以及影响人们生活的重要技术之一。

AR是将计算机生成的虚拟世界套在现实世界上，即把数字想象世界加在真实世界之上。最典型的AR设备就是谷歌眼镜。这种智能眼镜将触控板、摄像头以及LED显示器结合起来，通过显示器，用户可以联网，并在视野内使用地图、电子邮件等服务。AR增强现实主要通过投影功能，将虚拟世界叠加在现实世界，起到补充现实世界信息的作用，因此AR设备的主要构成是狭义的VR+更强大的数据感知系统+微投影系统。

眼动追踪EyeTribe是当人类的眼球移动时，可以对其进行跟踪，了解它的移动轨迹，眼球追踪就是感知眼部细微变化的一种技术，根据我们观测的方向不同，眼部则会产生相应的特征，通过这些特征的比对，从而对眼睛变化形成一套可以考量的参考，进而实现针对眼睛变化的控制功能，这就是所谓的眼动追踪技术。眼动追踪能够隐秘地对用户行为进行测量，并将测量结果转换为客观的定量数据。

目前，比较主流的VR/AR人机交互方式，主要基于手势识别和跟踪，国内极少有针对眼动追踪技术与VR/AR的结合的产品，尤其在涉及的人机交互工程研究领域的应用更少。用户在与VR场景的模型进行互动时，往往需要通过控制器提供的指向UI来选定目标，再使用相应的按键来查看必要的信息。这种交互方式大大破坏了VR的沉浸感，它会让体验者清醒的察觉到触感的缺失。

发明内容

为了解决现有技术的不足，本发明提供了一种基于眼动追踪的人机交互系统，其能提升AR/VR在各个工程应用领域的交互体验。

本发明的一种基于眼动追踪的人机交互系统，包括：

处理器，其与AR/VR头显装置和视频采集装置分别相连；AR/VR头显装置上设置有眼动追踪传感器和角运动传感器，眼动追踪传感器和角运动传感器分别用于实时捕捉眼部活动信息和实时采集AR/VR头显装置的当前运动状态且均传送至处理器；视频采集装置用于采集眼部视线范围内的场景图像并传送至处理器；

所述处理器被配置为：

根据眼部活动信息和AR/VR头显装置的运动状态来构建当前眼部移动模型，并与其内预存的眼部移动模型相匹配，进而驱动AR/VR头显装置进行相应动作且定位视觉方向；

根据定位的视觉方向确定眼部视线范围，接收且内的场景图像并对眼球进行定位，进而确定出注视感兴趣区域；

对注视感兴趣区域内的图像进行识别，进而得到场景模组检测模型并对其进行定位；

利用眼动参数及场景模组检测模型的位置分别与预设的相应交互参考范围比较，判定是否进行互动及发出相应互动操作控制。

进一步的，所述眼动参数包括眼跳次数、注视次数和注视时长。

其中，眼动参数除了眼跳次数、注视次数和注视时长，还可以包括眼球闭合时长。