[发明专利]一种增强现实环境中的脑眼协同控制方法及系统

说明书

一种增强现实环境中的脑眼协同控制方法及系统，针对航天员便携式作业需求，进行头盔显示器与视点跟踪式眼动仪的结构一体化设计，首先开发与数字头盔相匹配的集成嵌入式增强现实作业环境，实现基于眼动跟踪的机械臂自由度选择和动作预选，然后通过对脑机接口稳态视觉诱发范式控制信息的识别，实现机械臂六自由度控制动作的稳定意图理解和精细控制，最后在数字集成头盔条件下，实现脑电信号与视觉跟踪信号对被控对象的协同控制。与现有技术相比，本发明解决了单纯脑电信号控制能力较弱、鲁棒性和稳定不足的问题，具有很好的使用价值。

技术领域

本发明涉及涉及人机融合控制领域，特别是一种增强现实环境中的脑眼协同控制方法及系统。

背景技术

我国未来载人航天项目中，航天员在轨任务(如空间站、大型空间科学实验平台等航天器在轨维修、装配、维护任务)日趋增加，需要航天员身着太空服出舱进行太空行走的任务需求不断提升，作业的复杂性和艰巨性将远超当前。

航天员在失重环境、个体运动受限等条件下，进行出舱作业中所面临的个体能力受限、航天服条件下常规控制通道受限、辅助作业系统控制通道不足、操作视野不足及缺乏实时作业指导等问题。例如，国际空间站为航天器在轨服务操作提供了大型机械臂等复杂操作工具，我国空间站也部署了大型机械臂，并将后续部署小型机械臂完成在轨服务操作。但目前仍未见为航天员提供出舱作业辅助的机械装置。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供了一种增强现实环境中的脑眼协同控制方法及系统，解决了航天员出舱人机协同作业中作业信息不足的问题，实现航天员任务作业中“人－机－环”的性能增强。

本发明的技术解决方案是：一种增强现实环境中的脑眼协同控制方法，包括如下步骤：

(1)构建一体化结构的头盔显示器、视点跟踪式眼动仪，得到数字头盔；所述的数字头盔能够集成眼动跟踪和增强现实模块，提供增强现实下的航天器作业场景；所述的头盔显示器能够提供对增强现实场景的显示功能；所述的视点跟踪式眼动仪能够实现对眼球转动、凝视动作的跟踪，实现眼动控制；

(2)构建与数字头盔匹配的且能够增强现实作业环境的集成嵌入式装置；

(3)根据视点跟踪式眼动仪读取视觉跟踪信号实现基于眼动跟踪的机械臂自由度选择、动作预选，然后根据数字头盔中的脑机接口读取脑电信号实现机械臂六自由度修正、动作控制。

所述的视点跟踪式眼动仪包括组合式的全息透镜，头盔显示器包括脑电信号提取装置，并在集成嵌入式装置构建的虚拟仿真环境中显示机械臂的运动过程。

所述的集成嵌入式装置能够建立虚拟可视化的太空背景环境。

所述的视点跟踪式眼动仪设有基于角膜反射的眼动跟踪算法，建立基于凝视和眼球滑动轨迹的机械臂自由度触发和控制模式。

所述的头盔显示器设有不同频率的脑电信号机械臂六自由度触发和控制模式。

所述的视点跟踪式眼动仪以普尔钦斑点为衡量基准，根据灰度值计算普尔钦斑点和瞳孔于虹膜的所在位置，进而得到视线的输入方向。

所述的头盔显示器采用LDA模型确定指向的区域位置。

一种增强现实环境中的脑眼协同控制系统，包括数字头盔、集成嵌入式装置，数字头盔包括头盔显示器、视点跟踪式眼动仪；其中：

头盔显示器能够提供对增强现实场景的显示功能；根据脑机接口读取脑电信号实现机械臂六自由度修正、动作控制；

视点跟踪式眼动仪能够实现对眼球转动、凝视动作的跟踪，实现眼动控制；根据视点跟踪式眼动仪读取视觉跟踪信号实现基于眼动跟踪的机械臂自由度选择、动作预选；

集成嵌入式装置与数字头盔匹配且能够增强现实作业环境显示，建立虚拟可视化的太空背景环境。