[发明专利]一种基于眼动追踪的人机交互系统及其工作方法

权利要求书

1.一种基于眼动追踪的人机交互系统，其特征在于，包括：

处理器，其与AR/VR头显装置和视频采集装置分别相连；AR/VR头显装置上设置有眼动追踪传感器和角运动传感器，眼动追踪传感器和角运动传感器分别用于实时捕捉眼部活动信息和实时采集AR/VR头显装置的当前运动状态且均传送至处理器；视频采集装置用于采集眼部视线范围内的场景图像并传送至处理器；

所述处理器被配置为：

根据眼部活动信息和AR/VR头显装置的运动状态来构建当前眼部移动模型，并与其内预存的眼部移动模型相匹配，进而驱动AR/VR头显装置进行相应动作且定位视觉方向；

根据定位的视觉方向确定眼部视线范围，接收且内的场景图像并对眼球进行定位，进而确定出注视感兴趣区域；

对注视感兴趣区域内的图像进行识别，进而得到场景模组检测模型并对其进行定位；

利用眼动参数及场景模组检测模型的位置分别与预设的相应交互参考范围比较，判定是否进行互动及发出相应互动操作控制；

基于眼动追踪的人机交互系统使用眼球来定位场景中的某个模组，从而决定是否与它进行互动，提高了用户在与VR/AR交互方式的沉浸感；

利用眼部、眼球以及场景的三维坐标，定位场景模组检测模型；

所述处理器还被配置为：

确定眼部视线范围的场景图像的归类，并按时间序列对所述场景图像进行排序；

提取排序后的所述场景图像的特征参数，所述场景图像的特征参数包括停留时间、运动角度、离散速度和眼球闭合频率；

构建所述场景图像的特征参数的评价体系，进而得到最优的注视点即为眼部位置点。

2.如权利要求1所述的一种基于眼动追踪的人机交互系统，其特征在于，所述眼动参数包括眼跳次数、注视次数和注视时长。

3.如权利要求1所述的一种基于眼动追踪的人机交互系统，其特征在于，所述处理器还被配置为：

对注视感兴趣区域内的图像进行采样缩小，进而利用ORB算法进行特征提取；

利用提取的ORB特征进行最邻近匹配，通过RASANC算法对得到的匹配点对进行筛选，得到粗匹配点对；

利用提取的粗匹配点对坐标，计算出在注视感兴趣区域内的图像中的对应坐标，并在注视感兴趣区域内的图像的匹配点对所在的图像块中再次提取ORB特征，进行精确匹配；

利用渐入渐出法对相邻图像块进行融合，利用目标的位置特征、深层特征和特征图，得到场景模组检测模型。

4.一种基于如权利要求1所述的眼动追踪的人机交互系统的工作方法，其特征在于，包括：

眼动追踪传感器和角运动传感器分别实时捕捉眼部活动信息和实时采集AR/VR头显装置的当前运动状态且均传送至处理器；视频采集装置采集眼部视线范围内的场景图像并传送至处理器；

处理器根据眼部活动信息和AR/VR头显装置的运动状态来构建当前眼部移动模型，并与其内预存的眼部移动模型相匹配，进而驱动AR/VR头显装置进行相应动作且定位视觉方向；

处理器根据定位的视觉方向确定眼部视线范围，接收且内的场景图像并对眼球进行定位，进而确定出注视感兴趣区域；

处理器对注视感兴趣区域内的图像进行识别，进而得到场景模组检测模型并对其进行定位；

处理器利用眼动参数及场景模组检测模型的位置分别与预设的相应交互参考范围比较，判定是否进行互动及发出相应互动操作控制。

5.如权利要求4所述的基于眼动追踪的人机交互系统的工作方法，其特征在于，所述眼动参数包括眼跳次数、注视次数和注视时长。

6.如权利要求4所述的基于眼动追踪的人机交互系统的工作方法，其特征在于，利用眼部、眼球以及场景的三维坐标，定位场景模组检测模型。