[发明专利]一种基于多模态脑机交互技术的虚拟沙盘交互控制系统

摘要

本发明公开了一种基于多模态脑机交互技术的虚拟沙盘交互控制系统。该系统包括脑电模块、肌电模块、眼动模块、控制模块和显示模块，所述控制模块分别连接脑电模块、肌电模块、眼动模块、显示模块，所述脑电模块连接肌电模块。脑电模块将用户注视叠加在虚拟沙盘控制菜单上并将控制命令发送给控制模块，肌电模块将连续控制指令发送至控制模块，眼动模块将用户注视方向坐标发送至控制模块，控制模块将数字沙盘更新内容发送至显示模块，显示模块显示虚拟沙盘和用户视线注视点，并在虚拟沙盘控制菜单上叠加不同频率编码的定频视觉刺激。本发明基于脑‑机接口与眼动仪相结合的多模态脑机交互方法实现控制菜单的功能键选择，目标选择性能更加稳定，适用于多种应用场景。

主权项

1.一种基于多模态脑机交互技术的虚拟沙盘交互控制系统，其特征在于，包括脑电模块、肌电模块、眼动模块、控制模块和显示模块，所述控制模块分别连接脑电模块、肌电模块、眼动模块、显示模块；所述控制模块包括坐标换算单元、控制逻辑解析单元和视觉刺激编码单元；所述坐标换算单元将用户眼动相对位置换算到虚拟现实显示器上的特定位置，并同时将坐标位置信息发送至控制逻辑解析单元和显示模块；所述控制逻辑解析单元判断当前用户眼动坐标是否位于虚拟现实显示器中的菜单功能键位置上，如果位于某个菜单的位置上则将相应的刺激编号指令发送至视觉刺激编码单元进行视觉刺激编码，如果没有位于某个菜单的位置上则发送至显示模块；所述视觉刺激编码单元采用正弦信号采样的方式编码模拟定频正弦刺激，并将定频刺激信号发送至显示模块。