[发明专利]一种增强现实环境中的脑眼协同控制方法及系统

权利要求书

1.一种增强现实环境中的脑眼协同控制方法，其特征在于包括如下步骤：

(1)构建一体化结构的头盔显示器、视点跟踪式眼动仪，得到数字头盔；所述的数字头盔能够集成眼动跟踪和增强现实模块，提供增强现实下的航天器作业场景；所述的头盔显示器能够提供对增强现实场景的显示功能；所述的视点跟踪式眼动仪能够实现对眼球转动、凝视动作的跟踪，实现眼动跟踪控制；所述的眼动跟踪控制逻辑为：首先进行自由度运动正反向的选择，然后利用眼球视线的凝视信号确定此时想要产生运动的自由度，当眼部注视对应的自由度时，机械臂会在该自由度上发生持续运动；

(2)构建与数字头盔匹配的且能够增强现实作业环境的集成嵌入式装置；

(3)根据视点跟踪式眼动仪读取视觉跟踪信号实现基于眼动跟踪的机械臂自由度选择、动作预选，然后根据数字头盔中的脑机接口读取脑电信号实现机械臂六自由度修正、动作控制；

所述的视点跟踪式眼动仪包括组合式的全息透镜，头盔显示器包括脑电信号提取装置，并在集成嵌入式装置构建的虚拟仿真环境中显示机械臂的运动过程，并提供用于稳态视觉诱发刺激的不同频率闪烁界面；

所述的视点跟踪式眼动仪以普尔钦斑点为衡量基准，根据灰度值计算普尔钦斑点和瞳孔于虹膜的所在位置，进而得到视线的输入方向；

在头盔显示器中针对视觉注视的SSVEP频闪信息，采用LDA模型计算最大投影值，得到指向的区域位置。

2.根据权利要求1所述的一种增强现实环境中的脑眼协同控制方法，其特征在于：所述的集成嵌入式装置能够建立虚拟可视化的太空背景环境。

3.根据权利要求1所述的一种增强现实环境中的脑眼协同控制方法，其特征在于：所述的视点跟踪式眼动仪设有基于角膜反射的眼动跟踪算法，建立基于凝视和眼球滑动轨迹的机械臂自由度触发和控制模式。

4.根据权利要求1所述的一种增强现实环境中的脑眼协同控制方法，其特征在于：所述的头盔显示器设有不同频率的脑电信号机械臂六自由度触发和控制模式。

5.一种增强现实环境中的脑眼协同控制系统，其特征在于包括数字头盔、集成嵌入式装置，数字头盔包括头盔显示器、视点跟踪式眼动仪，其中：

头盔显示器能够提供对增强现实场景的显示功能；通过建立虚拟频闪刺激界面，读取脑电信号，实现机械臂六自由度修正、动作控制；

视点跟踪式眼动仪能够实现对眼球转动、凝视动作的跟踪，实现眼动跟踪控制；根据视点跟踪式眼动仪读取视觉跟踪信号实现基于眼动跟踪的机械臂自由度选择、动作预选；

集成嵌入式装置与数字头盔匹配且能够增强现实作业环境显示，建立虚拟可视化的太空背景环境；

所述的视点跟踪式眼动仪包括组合式的全息透镜，头盔显示器包括脑电信号提取装置，并在集成嵌入式装置构建的虚拟仿真环境中显示机械臂的运动过程；

所述的头盔显示器设有不同频率的脑电信号机械臂六自由度触发和控制模式，采用LDA模型确定指向的区域位置。