[发明专利]一种基于多模态脑机交互技术的虚拟沙盘交互控制系统

权利要求书

1.一种基于多模态脑机交互技术的虚拟沙盘交互控制系统，其特征在于，包括脑电模块、肌电模块、眼动模块、控制模块和显示模块，所述控制模块分别连接脑电模块、肌电模块、眼动模块、显示模块；

所述控制模块包括坐标换算单元、控制逻辑解析单元和视觉刺激编码单元；

所述坐标换算单元将用户眼动相对位置换算到虚拟现实显示器上的特定位置，并同时将坐标位置信息发送至控制逻辑解析单元和显示模块；

所述控制逻辑解析单元判断当前用户眼动坐标是否位于虚拟现实显示器中的菜单功能键位置上，如果位于某个菜单的位置上则将相应的刺激编号指令发送至视觉刺激编码单元进行视觉刺激编码，如果没有位于某个菜单的位置上则发送至显示模块；

所述视觉刺激编码单元采用正弦信号采样的方式编码模拟定频正弦刺激，并将定频刺激信号发送至显示模块。

2.如权利要求1所示的虚拟沙盘交互控制系统，其特征在于，

所述脑电模块将用户注视叠加在虚拟沙盘控制菜单上的视觉刺激时所诱发的脑电特征信号转化成计算机控制指令；

所述脑电模块将控制命令发送给控制模块；

所述肌电模块将连续控制指令发送至控制模块；

所述眼动模块将用户注视方向坐标发送至控制模块；

所述控制模块用于定频刺激的编码、用户眼动坐标换算，以及基于当前系统控制命令解析用户操控意图，并将数字沙盘更新内容发送至显示模块；

所述显示模块显示虚拟沙盘和用户视线注视点，并在虚拟沙盘控制菜单上叠加不同频率编码的定频视觉刺激。

3.如权利要求1所示的虚拟沙盘交互控制系统，其特征在于，所述脑电模块包括脑电信号采集器、第一带通滤波单元、SSVEP特征提取单元和目标刺激频率识别单元；

所述脑电信号采集器将用户注视叠加在虚拟沙盘控制菜单上的定频视觉刺激时的脑电信号实时记录下来，通过位于用户头部枕区的多个干电极采集脑电信号，并将参考电极分别设置在两个耳垂上；

所述第一带通滤波单元将脑电信号进行带通滤波处理；

所述SSVEP特征提取单元提取一定时间的多通道脑电信号W_x；

所述目标刺激频率识别单元计算各个刺激频率所对应的响应值，通过比较响应值大小识别目标刺激频率。

4.如权利要求3所示的虚拟沙盘交互控制系统，其特征在于，所述第一带通滤波单元采用8-70赫兹的Chebyshev I型IIR带通滤波器。

5.如权利要求1所示的虚拟沙盘交互控制系统，其特征在于，所述肌电模块包括肌电信号采集器、第二带通滤波单元、肌电特征提取单元、手势识别单元；

所述肌电信号采集器设置在用户的小臂肌肉群上方，采用双极导联的方式，实时采集人的小臂肌电信号；

肌电信号通过第二带通滤波单元、肌电特征提取单元和手势识别单元来识别用户手势，所述肌电特征提取单元采用滑动时间窗口方法按一定步长连续截取特定时间长度的肌电信号，并对其进行特征提取。

6.如权利要求5所示的虚拟沙盘交互控制系统，其特征在于，所述第二带通滤波单元采用8-150赫兹的Chebyshev I型IIR带通滤波器。

7.如权利要求1所示的虚拟沙盘交互控制系统，其特征在于，所述眼动模块包括眼动信号采集器、视线校准单元、模型分析单元；

所述眼动信号采集器实时采集用户的眼球位置信息；

所述视线校准单元通过采集用户注视特定位置的眼动数据进行校准；

所述模型解析单元采用矩阵法进行ROI图像识别。

8.如权利要求7所示的虚拟沙盘交互控制系统，其特征在于，所述眼动信号采集器设置在虚拟现实眼镜中，包括眼动摄像头和红外光源。

9.如权利要求1所示的虚拟沙盘交互控制系统，其特征在于，所述显示模块包括视线注视点显示单元、数字沙盘显示单元和定频刺激显示单元；

所述视线注视点显示单元在接收到坐标换算单元发送的眼动坐标位置呈现视线反馈信息；

所述数字沙盘显示单元根据控制逻辑解析单元的控制命令更新沙盘显示信息；

所述定频刺激显示单元基于视觉刺激编码生成视觉刺激，进而诱发SSVEP特征电位。